[논문 리뷰] Pair the Dots: Jointly Examining Training History and Test Stimuli for Model Interpretability

Yuxian Meng, Chun Chieh Fan외 4명|arXiv (Cornell University)|2020. 10. 14.

Adversarial Robustness in Machine Learning참고 문헌 70인용 수 10

한 줄 요약

이 논문은 영향 함수를 통해 테스트 자극에서 영향력 있는 훈련 데이터로의 사전순 추적을 통해 신경망 모델 예측을 설명하기 위해 유연하고 효율적인 프레임워크를 제안한다. 이 방법은 최소한의 재학습으로 포괄적인 해석 가능성, 오류 분석, 적대적 예제 생성, 모델 수정을 가능하게 하며, 표적 훈련 데이터 증강을 통해 최대 1%의 정확도 향상을 달성한다.

ABSTRACT

Any prediction from a model is made by a combination of learning history and test stimuli. This provides significant insights for improving model interpretability: {\it because of which part(s) of which training example(s), the model attends to which part(s) of a test example}. Unfortunately, existing methods to interpret a model's predictions are only able to capture a single aspect of either test stimuli or learning history, and evidences from both are never combined or integrated. In this paper, we propose an efficient and differentiable approach to make it feasible to interpret a model's prediction by jointly examining training history and test stimuli. Test stimuli is first identified by gradient-based methods, signifying {\it the part of a test example that the model attends to}. The gradient-based saliency scores are then propagated to training examples using influence functions to identify {\it which part(s) of which training example(s)} make the model attends to the test stimuli. The system is differentiable and time efficient: the adoption of saliency scores from gradient-based methods allows us to efficiently trace a model's prediction through test stimuli, and then back to training examples through influence functions. We demonstrate that the proposed methodology offers clear explanations about neural model decisions, along with being useful for performing error analysis, crafting adversarial examples and fixing erroneously classified examples.

연구 동기 및 목표

• 신경망 모델의 해석 가능성 격차를 해결하기 위해 테스트 자극과 훈련 이력을 함께 분석한다.
• 기존 방법들이 테스트 입력이나 훈련 예제를 개별적으로만 다루는 한계를 극복한다.
• 테스트 입력 특징에서 영향력 있는 훈련 데이터로의 모델 결정을 추적할 수 있는 유연하고 효율적인 프레임워크를 개발한다.
• 훈련 데이터 수정을 통해 오류 진단, 적대적 예제 제작, 모델 수정과 같은 실용적 응용을 가능하게 한다.
• 이 방법이 NLP 작업 전반에서 모델의 강건성과 해석 가능성 향상에 효과적임을 입증한다.

제안 방법

• 테스트 예제에서 모델 예측에 가장 영향을 주는 부분을 식별하기 위해 기울기 기반 방법을 사용해 테스트 입력의 중요도를 확인한다.
• 영향 함수를 사용해 중요도 점수를 테스트 입력에서 훈련 예제로 전파하며, 각 훈련 예제가 예측에 미치는 영향을 정량화한다.
• 이 방법은 완전히 유연하며, 테스트 입력에서 모델 파라미터를 거쳐 훈련 예제로의 전방향 기울기 흐름을 보장한다.
• 모델 재학습 없이도 효율적으로 영향 함수를 계산하여 시간 효율성을 확보한다.
• 이 프레임워크는 영향력 있는 훈련 예제를 수정함으로써 적대적 예제 생성(영향력 있는 훈련 예제를 변형)과 모델 수정(오류 수정을 위해 훈련 예제를 수정)을 모두 지원한다.
• 유사어와 반의어를 사용해 훈련 예제에 변형을 적용하여 모델의 주의 집중을 변경하며, 데이터 증강 후 한 번의 재학습만 수행한다.

실험 결과

연구 질문

• RQ1 테스트 자극과 훈련 이력을 함께 분석함으로써 어떻게 모델 예측을 종합적으로 해석할 수 있는가?
• RQ2 어느 훈련 예제의 어떤 부분이 테스트 입력의 특정 영역에 주의를 기울이게 했는가?
• RQ3 테스트 입력 대신 영향력 있는 훈련 예제를 수정함으로써 적대적 예제를 생성할 수 있는가?
• RQ4 오류 수정을 위해 영향력 있는 훈련 예제를 수정함으로써 주의를 올바른 특징으로 이동시킬 수 있는가?
• RQ5 수정된 훈련 예제의 수가 적대적 및 수정 설정에서 모델 성능에 어떤 영향을 미치는가?

주요 결과

• 단일 영향력 있는 훈련 예제를 변형시켜 IMDB 데이터셋에서 모델 정확도를 최대 25%까지 떨어뜨릴 수 있었으며, 이는 영향력 있는 적대적 예제 생성의 효과를 입증한다.
• 특정 영역의 주의를 억제하고 비중요 영역으로 주의를 이동시키는 복합적 적대적 방법이 동일한 수의 변형 예제를 사용할 때 개별 방법보다 뛰어난 성능을 보였다.
• 잘못 분류된 예측을 수정하기 위해 훈련 예제를 생성할 경우, 잘못 분류된 각 인스턴스당 네 개의 변형 예제를 추가했을 때 테스트 정확도가 1% 향상되었으며, 네 개를 넘어서면 과적합이 발생하여 성능이 저하되었다.
• 잘못 분류된 테스트 예제당 네 개를 초과하는 훈련 예제를 생성할 경우 과적합이 관찰되어 테스트 성능이 급격히 떨어졌다.
• 너무 많은 훈련 예제를 수정할 경우 성능 저하가 심해져(예: 20개의 변형 예제로 정확도 52.0%) 공격 강도와 모델 일반화 능력 사이의 상충 관계가 드러났다.
• 이 방법은 재학습을 피하고 사전 계산된 영향 함수와 기울기 기반 중요도를 활용함으로써 계산적으로 효율적이다.