[논문 리뷰] Representer Point Selection for Explaining Deep Neural Networks

Chih‐Kuan Yeh, Joon Sik Kim외 2명|arXiv (Cornell University)|2018. 11. 23.

Adversarial Robustness in Machine Learning인용 수 77

한 줄 요약

논문은 representer points를 도입한다: 양수 또는 음수 representer 값을 가진 훈련 샘플들이 신경망의 사전 활성화 출력(outputs)을 선형적으로 분해하여, 예측에 대한 확장 가능하고 실시간 설명을 가능하게 한다.

ABSTRACT

We propose to explain the predictions of a deep neural network, by pointing to the set of what we call representer points in the training set, for a given test point prediction. Specifically, we show that we can decompose the pre-activation prediction of a neural network into a linear combination of activations of training points, with the weights corresponding to what we call representer values, which thus capture the importance of that training point on the learned parameters of the network. But it provides a deeper understanding of the network than simply training point influence: with positive representer values corresponding to excitatory training points, and negative values corresponding to inhibitory points, which as we show provides considerably more insight. Our method is also much more scalable, allowing for real-time feedback in a manner not feasible with influence functions.

연구 동기 및 목표

• 신경망 예측을 representer 분해를 통해 학습 포인트에 귀속시켜 설명한다.
• 영향 함수(influence functions)에 대한 확장 가능한 대안을 제공하여 영향력 있는Training 샘플 식별.
• 흥분성(양수) 및 억제성(음수) representer 포인트를 구분하여 모델에 대한 더 깊은 통찰 제공.
• 데이터셋 디버깅, 오분류 이해, 민감도 분석에서의 실용적 활용 시연.

제안 방법

• Phi(x, Theta)=Theta1 f, 여기서 f=Phi2(x, Theta2)인 두 부분으로 매개변수화된 신경망을 가정한다.
• representer 분해를 도출: Phi(x_t, Theta*) = sum_i alpha_i k(x_t, x_i, alpha_i) with alpha_i = -(1/(2 lambda n)) * dL(x_i, y_i, Theta)/dPhi(x_i, Theta) and k(x_t, x_i, alpha_i) = alpha_i f_i^T f_t.
• L2 정규화를 Theta1에 적용하여 stationary 포인트에서 representer 형태가 성립하도록 보장한다.
• 실용적인 훈련(Eq. 3)을 제안하여 Theta*,를 얻고, 임의의 테스트 포인트에 대해 representer 값을 계산 가능하게 한다.
• 주어진 사전 학습 모델에 대해 적절한 손실(softmax 또는 ReLU)을 사용하여 Phi(x_i, Theta)가 주어진 모델과 정렬되도록 하는(convex) 문제를 풀어 representer 포인트를 생성하는 것을 확장한다.
• 실시간 설명 및 해석 가능성에 대한 구현 세부사항과 실용적 고려사항을 논의한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크 예측을 학습 가능한 가중치(representer 값)로 선형 결합한 표현으로 표현할 수 있는가?
• RQ2 양수 representer 값이 예측을 지지하는 흥분성 학습 포인트를 식별하고 음수 값이 주어진 테스트 인스턴스에 대한 모델의 동작을 밝히는 억제 포인트를 식별하는가?
• RQ3 representer 기반 설명이 영향 함수보다 확장 가능하고 유도하는 학습 샘플을 식별하는 데 더 유익한가?
• RQ4 representer 값이 데이터셋 디버깅, 오분류 분석 및 민감도 분해에 도움을 주는가?
• RQ5 프레임워크를 사전에 학습된 모델에 적용하고 적절한 convex 손실(softmax, ReLU)로 다양한 활성화에 확장할 수 있는가?

주요 결과

• 사전 활성화된 예측은 학습 활성화에 대한 가중 합으로 분해될 수 있으며, 가중치(representer 값)가 학습 포인트의 영향을 나타낸다.
• 양수 representer 값은 예측을 지지하는 흥분성 학습 포인트에 대응하고, 음수 값은 이를 억제하는 억제 포인트에 대응한다.
• representer 접근법은 더 확장 가능하고 영향 함수에 비해 거의 실시간 설명을 가능하게 하며, 계산 비용이 우호적이다.
• Representer 포인트는 모델이 특정 예측을 왜 했는지 또는 하지 않았는지에 대한 더 명확한 시각화를 가능하게 하며, 오분류에 연루된 데이터셋 이슈를 밝힐 수 있다.
• CIFAR-10과 AwA에 대한 실험은 의미 있고 해석 가능한 흥분성/억제성 예시를 제시하고, 전통적인 방법을 넘는 강건한 정성적 통찰을 보여준다.