[논문 리뷰] Pathologies of Neural Models Make Interpretations Difficult

Shi Feng, Edward W. Wallace외 4명|arXiv (Cornell University)|2018. 04. 20.

Explainable Artificial Intelligence (XAI)참고 문헌 39인용 수 26

한 줄 요약

이 논문은 입력을 단순화할 경우 신경망 모델이 병태적 행동을 보임을 드러내며, 인간에게는 무의미하고 난수처럼 보이는 최소한의 입력에 대해도 높은 자신감을 유지한다. 기울기 기반 입력 단순화와 비트 시퀀스 탐색을 통해 저자들은 모델의 과도한 자신감과 낮은 불확실성 캘리브레이션을 드러내고, 정확도를 훼손하지 않으면서도 해석 가능성 향상을 위한 엔트로피 정규화를 제안한다.

ABSTRACT

One way to interpret neural model predictions is to highlight the most important input features---for example, a heatmap visualization over the words in an input sentence. In existing interpretation methods for NLP, a word's importance is determined by either input perturbation---measuring the decrease in model confidence when that word is removed---or by the gradient with respect to that word. To understand the limitations of these methods, we use input reduction, which iteratively removes the least important word from the input. This exposes pathological behaviors of neural models: the remaining words appear nonsensical to humans and are not the ones determined as important by interpretation methods. As we confirm with human experiments, the reduced examples lack information to support the prediction of any label, but models still make the same predictions with high confidence. To explain these counterintuitive results, we draw connections to adversarial examples and confidence calibration: pathological behaviors reveal difficulties in interpreting neural models trained with maximum likelihood. To mitigate their deficiencies, we fine-tune the models by encouraging high entropy outputs on reduced examples. Fine-tuned models become more interpretable under input reduction without accuracy loss on regular examples.

연구 동기 및 목표

• 입력 감소 상황에서 입력 편열 및 기울기 기반 설명 방법이 의미 있는 설명을 도출하지 못하는 이유를 조사하기 위해.
• 의미적으로 분리된 입력에 대해도 예측에 높은 자신감을 유지하는 신경망 모델의 병태적 행동을 드러내기 위해.
• 이러한 병태적 행동의 근본 원인, 특히 모델의 과도한 자신감과 낮은 캘리브레이션을 이해하기 위해.
• 표준 작업에서 정확도를 손상시키지 않으면서도 해석 가능성을 향상시키는 조치인 엔트로피 정규화를 제안하기 위해.

제안 방법

• 기울기 기반 중요도 점수를 기반으로 가장 중요도가 낮은 단어를 반복적으로 제거하여 입력 단순화를 수행하며, 모델의 원래 예측를 유지한다.
• 입력 단순화 과정에서 비트 시퀀스 탐색을 사용하여 여러 단순화 경로를 탐색하고, 예측 신뢰도를 유지하는 가장 짧은 입력을 찾는다.
• 각 단어의 중요도는 단어 제거에 대한 모델의 자신감 기울기로 계산된다: g(xi|x) = f(y|x) − f(y|x−i).
• 인간 평가를 위해 커스터마이징된 인력 평가를 실시하여, 단순화된 입력과 무작위 단어 제거 결과를 비교하고, 인식된 일관성 여부를 평가한다.
• 피취합 훈련 중에 엔트로피 정규화를 적용하여 단순화된 입력에서 높은 모델 불확실성 유도를 통해 과도한 자신감을 줄인다.
• 이 방법은 SQuAD(읽기 이해), SNLI(텍스트 함의), VQA(시각 질문 응답)의 세 가지 NLP 작업에서 평가된다.

실험 결과

연구 질문

• RQ1 입력 편열 및 기울기 기반 방법이 단순화된 입력에 적용되었을 때 의미 있는 설명을 도출하지 못하는 이유는 무엇인가?
• RQ2 반복적인 단어 제거 후 인간에게는 무의미한 입력이지만 모델이 여전히 높은 자신감을 유지하는 이유는 무엇인가?
• RQ3 이러한 병태적 행동은 적대적 예제와 모델의 과도한 자신감과 어떻게 관련이 있는가?
• RQ4 정규화를 통해 모델의 불확실성을 향상시켜 설명의 견고성을 높일 수 있는가?
• RQ5 엔트로피 정규화는 표준 정확도를 유지하면서 해석 가능성 향상에 얼마나 기여하는가?

주요 결과

• 기울기 기반 중요도를 활용한 입력 단순화로 인해 입력이 단 한두 단어로 줄어들며, 인간에게는 무의미하고 난수처럼 보이지만 모델의 자신감은 유지된다.
• 인간 평가에서 단순화된 입력은 무작위로 재배열된 단어 시퀀스와 거의 구분되지 않아, 무작위적이고 일관성이 없는 것으로 인식됨을 나타낸다.
• 원래 맥락이 근본적으로 변화된 상황에서도 모델은 이러한 단순화된 입력에 대해 여전히 매우 자신감을 유지하며, 열악한 입력에 대한 과도한 자신감을 보여준다.
• 이러한 병태적 행동은 모델의 과도한 자신감과 낮은 캘리브레이션과 관련이 있으며, 적대적 예제나 순수 노이즈에서 유도된 '쓰레기' 입력과 유사하다.
• 피취합 훈련 중 엔트로피 정규화를 적용함으로써 단순화된 입력에서의 과도한 자신감이 감소하여 정확도 손실 없이 더 해석 가능하고 일관성 있는 단순화된 예제를 도출할 수 있다.
• 이 방법은 SQuAD, SNLI, VQA 전반에서 병태적 행동을 효과적으로 완화하며, 모델 행동과 인간의 해석 가능성 간의 일치도 향상됨을 보였다.