[논문 리뷰] Sparse Oblique Decision Trees: A Tool to Understand and Manipulate Neural Net Features

Suryabhan Singh Hada, Miguel Á. Carreira-Perpiñán외 1명|arXiv (Cornell University)|2021. 04. 07.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

이 논문은 깊이 있는 신경망의 특징을 해석하고 조작하기 위해 트리 교차 최적화(Tree Alternating Optimization, TAO)를 통해 훈련된 희박한 기울어진 결정 트리를 소개한다. 기존에 훈련된 네트워크의 최종 레이어를 이러한 트리로 대체함으로써, 예측을 이끄는 내부 특징들이 무엇인지 드러내고, 전체 데이터셋에 걸쳐 클래스 출력을 제어할 수 있는 전역적이고 특징 수준의 적대적 공격을 가능하게 한다.

ABSTRACT

The widespread deployment of deep nets in practical applications has lead to a growing desire to understand how and why such black-box methods perform prediction. Much work has focused on understanding what part of the input pattern (an image, say) is responsible for a particular class being predicted, and how the input may be manipulated to predict a different class. We focus instead on understanding which of the internal features computed by the neural net are responsible for a particular class. We achieve this by mimicking part of the neural net with an oblique decision tree having sparse weight vectors at the decision nodes. Using the recently proposed Tree Alternating Optimization (TAO) algorithm, we are able to learn trees that are both highly accurate and interpretable. Such trees can faithfully mimic the part of the neural net they replaced, and hence they can provide insights into the deep net black box. Further, we show we can easily manipulate the neural net features in order to make the net predict, or not predict, a given class, thus showing that it is possible to carry out adversarial attacks at the level of the features. These insights and manipulations apply globally to the entire training and test set, not just at a local (single-instance) level. We demonstrate this robustly in the MNIST and ImageNet datasets with LeNet5 and VGG networks.

연구 동기 및 목표

• 깊이 있는 신경망의 해석 불가능성 문제를 해결하기 위해 특정 예측에 영향을 주는 내부 특징들을 식별하는 것.
• 특정 특징 표현에 초점을 맞춰 개별 입력이 아닌 전체 네트워크 행동을 전역적으로 조작할 수 있는 방법을 개발하는 것.
• 희박한 기울어진 트리를 사용하여 깊이 있는 네트워크의 의사결정 과정을 충실하고 해석 가능한 대체 모델로 제공하는 것.
• 전체 훈련 및 테스트 세트에 영향을 주는 특징 수준의 적대적 공격을 구성할 수 있음을 보여주는 것, 국소적 공격이 아닌 전역적 영향을 갖는 것.

제안 방법

• 희박한 기울어진 결정 트리를 훈련하기 위해 트리 교차 최적화(TAO) 알고리즘을 사용하며, 각 노드에서 작고 학습 가능한 가중치 벡터를 갖도록 하여 높은 정확도와 해석 가능성을 확보한다.
• 중간 레이어(예: VGG나 LeNet5에서 컨볼루션 블록 이후의 레이어)의 특징을 사용하여 깊이 있는 신경망의 최종 레이어 출력을 모방하도록 트리를 훈련한다.
• 특정 뉴런(특징)을 선택적으로 차단하거나 억제하는 특징 마스킹 메커니즘을 적용하여 특징 수준에서의 적대적 조작를 시뮬레이션한다.
• 트리의 구조와 특징 가중치를 활용하여 각 클래스에 대해 가장 영향을 주는 특징들을 식별하고, 네트워크의 내부 추론 방식에 대한 통찰을 제공한다.
• 기존에 훈련된 네트워크의 최종 분류기 부분을 희박한 기울어진 트리로 대체하여, 예측 성능를 유지하면서도 해석이 가능한 대체 모델을 생성한다.
• LeNet5와 VGG 아키텍처를 사용하여 MNIST와 ImageNet에서 방법을 평가하여, 예측의 해석 가능성과 제어 가능성 모두를 입증한다.

실험 결과

연구 질문

• RQ1 깊이 있는 신경망의 내부 특징 중 어떤 것이 특정 클래스 예측에 가장 큰 영향을 주는가?
• RQ2 희박한 기울어진 결정 트리가 깊이 있는 신경망의 최종 레이어 의사결정 경계를 충실하게 모방하면서도 해석 가능성이 유지될 수 있는가?
• RQ3 전체 데이터셋에 걸쳐 네트워크 행동을 전역적으로 변경할 수 있는 특징 수준의 적대적 공격을 구성할 수 있는가?
• RQ4 특정 특징을 마스킹하여 네트워크가 항상 특정 클래스를 예측하거나 특정 클래스를 전혀 예측하지 않도록 조작할 수 있는가?
• RQ5 이 방법이 깊이 있는 네트워크가 학습한 내부 표현에 대해 일관되고 의미 있는 통찰을 제공하는가?

주요 결과

• TAO를 통해 훈련된 희박한 기울어진 결정 트리는 LeNet5와 VGG와 같은 깊이 있는 네트워크의 최종 레이어를 매우 높은 정확도로 모방하며, 성능 손실가 최소화된다.
• 트리의 구조는 각 클래스를 예측하는 데 기여하는 특징(뉴런)의 소수의 희박한 부분집합만이 영향을 준다는 것을 드러내며, 특징 수준의 해석 가능성을 가능하게 한다.
• 트리에 의해 식별된 특정 특징을 마스킹함으로써 네트워크의 예측을 전역적으로 변경할 수 있다: 예를 들어, 모든 테스트 인스턴스에서 항상 하나의 클래스를 예측하거나 특정 클래스를 전혀 예측하지 않도록 할 수 있다.
• 이 방법은 입력 픽셀이 아닌 특징 수준에서 작동하는 새로운 종류의 전역적 적대적 공격을 가능하게 하여 네트워크 행동에 있어 예측할 수 없는 수준의 제어를 가능하게 한다.
• 이 방법은 MNIST에서 '3'과 '8' 간의 오분류를 유도하는 특징 집합을 성공적으로 식별하고 조작하여, 네트워크가 이 두 클래스를 혼동하도록 만들 수 있음을 입증한다.
• 이 방법은 데이터셋과 아키텍처에 관계없이 강건하며, VGG와 LeNet5를 사용하여 MNIST와 ImageNet 모두에서 일관된 해석 가능성과 제어 능력이 입증되었다.