[논문 리뷰] Interpreting Neural Networks Using Flip Points

Roozbeh Yousefzadeh, Dianne P. O’Leary|arXiv (Cornell University)|2019. 03. 21.

Adversarial Robustness in Machine Learning참고 문헌 25인용 수 6

한 줄 요약

이 논문은 의사결정 경계 사이에 위치한 입력, 즉 플립 포인트를 도입하여 훈련된 신경망을 해석하는 모델에 종속되지 않는 방법을 제안한다. 주어진 입력에 가장 가까운 플립 포인트를 찾기 위한 잘 정의된 최적화 문제를 해결함으로써, 이 방법은 신뢰도 측정을 신뢰할 수 있게 하고, 영향력 있는 특징을 규명하며, 편향을 탐지하고, 적대적 공격 및 데이터 증강에 대한 통찰을 제공하여 소프트맥스 점수보다 예측 신뢰도 평가에서 뛰어난 성능을 보인다.

ABSTRACT

Neural networks have been criticized for their lack of easy interpretation, which undermines confidence in their use for important applications. Here, we introduce a novel technique, interpreting a trained neural network by investigating its flip points. A flip point is any point that lies on the boundary between two output classes: e.g. for a neural network with a binary yes/no output, a flip point is any input that generates equal scores for "yes" and "no". The flip point closest to a given input is of particular importance, and this point is the solution to a well-posed optimization problem. This paper gives an overview of the uses of flip points and how they are computed. Through results on standard datasets, we demonstrate how flip points can be used to provide detailed interpretation of the output produced by a neural network. Moreover, for a given input, flip points enable us to measure confidence in the correctness of outputs much more effectively than softmax score. They also identify influential features of the inputs, identify bias, and find changes in the input that change the output of the model. We show that distance between an input and the closest flip point identifies the most influential points in the training data. Using principal component analysis (PCA) and rank-revealing QR factorization (RR-QR), the set of directions from each training input to its closest flip point provides explanations of how a trained neural network processes an entire dataset: what features are most important for classification into a given class, which features are most responsible for particular misclassifications, how an adversary might fool the network, etc. Although we investigate flip points for neural networks, their usefulness is actually model-agnostic.

연구 동기 및 목표

• 의료 및 범죄 정의와 같은 고위험 적용 분야에서 신경망의 해석 가능성 부족 문제를 해결하기 위해.
• 예측을 설명하기 위해 출력 클래스 간의 결정 경계에 위치한 가장 가까운 입력을 식별하는 모델에 종속되지 않는 방법을 개발하기 위해.
• 개별 예측에 대해 소프트맥스 점수보다 더 신뢰할 수 있는 신뢰도 측정을 제공하기 위해.
• 분류 결정에 영향을 미치는 영향력 있는 훈련 데이터 포인트와 핵심 입력 특징을 식별하기 위해.
• 적대적 공격 탐지 및 모델 향상을 위한 합성 데이터 생성을 가능하게 하기 위해.

제안 방법

• 플립 포인트를 주어진 샘플에 가장 가까운 두 출력 클래스 간의 결정 경계 위에 위치한 입력으로 정의한다.
• 가장 가까운 플립 포인트를 찾는 문제를 기울기 기반 방법으로 해결할 수 있는 잘 정의된 최적화 문제로 공식화한다.
• 입력에서 가장 가까운 플립 포인트까지의 거리를 모델 예측의 신뢰도 지표로 사용한다.
• 훈련 입력에서 가장 가까운 플립 포인트까지의 벡터에 주성분 분석(PCA)과 랭크를 드러내는 QR( RR-QR) 분해를 적용하여 주요 특징 방향을 규명한다.
• 플립 포인트 방향을 활용해 데이터 증강 또는 적대적 테스트를 위한 합성 데이터를 생성한다.
• 플립 포인트 정보를 활용해 모델의 강건성 평가, 데이터 손상 탐지, 특징 스케일링 또는 재가중치 조정을 안내한다.

실험 결과

연구 질문

• RQ1 소프트맥스 점수보다 더 신뢰할 수 있는 방법으로 신경망의 예측에 대한 신뢰도를 어떻게 측정할 수 있는가?
• RQ2 주어진 샘플에 대해 모델의 출력을 뒤바꿀 수 있는 입력 변화는 무엇이며, 이를 효율적으로 계산할 수 있는가?
• RQ3 입력에서 분류 결정에 가장 영향을 미치는 특징는 무엇인가?
• RQ4 플립 포인트를 통해 가장 영향력 있는 훈련 데이터 포인트와 가장 영향력이 적은 데이터 포인트를 어떻게 식별할 수 있는가?
• RQ5 플립 포인트를 사용해 적대적 예제를 생성하거나 합성 데이터를 통해 모델 일반화를 향상시킬 수 있는가?

주요 결과

• 가장 가까운 플립 포인트까지의 거리는 소프트맥스 점수보다 더 신뢰할 수 있는 신뢰도 지표이며, 오류가 발생한 테스트 샘플의 평균 플립 거리는 0.022이지만, 정확한 예측의 경우 평균 0.103이다.
• 모든 잘못 분류된 테스트 샘플의 소프트맥스 점수는 97.4% 이상이었으며, 이는 높은 소프트맥스 값이 정확성을 보장하지는 않음을 보여주며, 플립 거리는 불확실한 예측을 효과적으로 식별한다.
• 플립 포인트 방향에 대한 주성분 분석에서 '문자 텍스처의 표준편차'와 '프랙탈 차원의 표준편차'가 위스콘신 유방암 데이터셋에서 양성에서 악성으로의 예측을 뒤바꾸는 데 핵심적인 특징임을 밝혀냈다.
• 악성 예측을 양성으로 뒤바꾸는 데 가장 영향력 있는 특징는 '문자 텍스처의 표준편차'와 '최악의 면적'이었으며, 임상의 및 모델 설계자에게 실질적인 통찰을 제공했다.
• 플립 포인트를 활용해 모델 정확도를 향상시킨 합성 데이터를 생성할 수 있었고, 결정 경계를 변화시키는 적대적 예제의 생성도 가능했다.
• 이 방법은 결정 경계에 가까운 위치에 있다는 기초에 기반하므로, 신경망 외의 모든 분류기에도 적용 가능한 모델에 종속되지 않는 방법이다.