[논문 리뷰] Interpretation of NLP models through input marginalization

Siwon Kim, Jihun Yi외 2명|arXiv (Cornell University)|2020. 10. 27.

Explainable Artificial Intelligence (XAI)참고 문헌 27인용 수 6

한 줄 요약

이 논문은 NLP 모델의 해석 방법으로 입력 마진화를 제안하며, 기존의 영점 삭제 방식을 대체하여 BERT의 마스크된 언어 모델을 활용한 가능도 기반 마진화를 통해 분포 외(OOD) 문제를 방지한다. 이 방법은 더 정확한 할당 점수를 제공하며, 미세조정된 MLM 모델링이 가장 타당한 해석을 이끌어내어 '영화'나 '필름'과 같은 관련 없는 토큰에 대한 오해를 유발하는 점수를 사전 훈련된 모델 대비 90% 이상 감소시킨다.

ABSTRACT

To demystify the "black box" property of deep neural networks for natural language processing (NLP), several methods have been proposed to interpret their predictions by measuring the change in prediction probability after erasing each token of an input. Since existing methods replace each token with a predefined value (i.e., zero), the resulting sentence lies out of the training data distribution, yielding misleading interpretations. In this study, we raise the out-of-distribution problem induced by the existing interpretation methods and present a remedy; we propose to marginalize each token out. We interpret various NLP models trained for sentiment analysis and natural language inference using the proposed method.

연구 동기 및 목표

• 기존의 토큰 영점 삭제 방식을 사용하는 NLP 모델의 해석 방법에서 발생하는 분포 외(OOD) 문제를 규명하는 것.
• 영점 삭제를 입력 마진화로 대체하여 후보 토큰의 가능도를 고려함으로써 이 문제를 해결하는 방법을 제안하는 것.
• 일반 분포나 사전 분포 기반 분포와 비교하여, 미세조정된 BERT MLM을 통한 가능도 모델링이 할당 점수의 정확성과 신뢰성을 향상시킬 수 있음을 보여주는 것.
• 정량적 상관관계와 정성적 해석 분석을 통해 감성 분석 및 자연어 추론 작업에서 이 방법의 유효성을 검증하는 것.
• 적응형 절단을 통해 전체 마진화와의 높은 상관관계를 유지하면서도 계산 비용을 줄일 수 있는지 확인하는 것.

제안 방법

• 입력의 각 토큰을 영점으로 설정하는 대신, 가능한 모든 토큰에 대한 분포로 대체하여 OOD 입력을 방지하는 것.
• BERT의 마스크된 언어 모델(MLM)을 사용하여 맥락을 기반으로 각 후보 토큰의 가능도를 추정하는 것.
• 추정된 가능도를 사용하여 각 토큰을 마진화함으로써 할당 점수를 계산하고, 분포 일관성을 유지하는 것.
• 높은 가능도 후보(예: σ = 10⁻⁵ 이상)만 선택하여 계산량을 줄이면서도 정확도를 유지하는 적응형 절단을 적용하는 것.
• 전체 마진화와의 상관관계를 피어슨 상관계수로 평가하여 속도와 정확도를 동시에 최적화하는 것.
• 다운스트림 데이터셋(예: SST-2)에서 BERT MLM을 미세조정하여 작업에 특화된 맥락에서의 가능도 추정을 향상시키는 것.

실험 결과

연구 질문

• RQ1 기존의 NLP 모델 해석 방법에서 토큰의 영점 삭제 방식은 분포 외(OOD) 입력으로 인해 오해의 소지가 있는 결과를 초래하는가?
• RQ2 후보 토큰의 가능도 기반 분포를 사용하여 각 토큰을 마진화하는 방식이 영점 삭제 방식보다 해석의 정확성과 신뢰성을 향상시키는가?
• RQ3 가능도 모델링 방식의 선택(균일, 사전 확률, 사전 훈련된 MLM, 미세조정된 MLM)이 할당 점수의 품질에 어떤 영향을 미치는가?
• RQ4 적응형 절단을 통해 계산 비용을 얼마나 줄일 수 있으며, 전체 마진화와의 상관관계를 유지할 수 있는가?
• RQ5 제안된 방법은 실세계의 NLP 작업, 예를 들어 감성 분석 및 자연어 추론에서 더 타당하고 정확한 해석을 제공하는가?

주요 결과

• 균일 가능도 모델은 의미 있는 해석을 도출하지 못했으며, 관련 없는 토큰에 높은 점수를 할당했다.
• 사전 확률 모델링은 약간 향상되었지만 여전히 오해의 소지가 있었으며, 특히 '영화'나 '필름'과 같은 일반 단어에 대해 잘못된 할당을 유발했다.
• 사전 훈련된 BERT MLM은 '영화'와 '필름'에 대한 할당 점수를 각각 0.256에서 0.007, 0.631에서 0.321로 감소시켜 더 높은 정확도를 보였다.
• 미세조정된 BERT MLM이 가장 정확한 해석을 도출했으며, 전체 마진화와 가장 높은 상관관계를 보였고, 가장 타당한 할당 점수를 제공했다.
• σ = 10⁻⁵에서의 적응형 절단은 전체 마진화와 0.9999의 피어슨 상관계수를 달성했으며, 평균 마진화 수를 30,522에서 791로 줄였다.
• 상위 1,000개 후보로 고정된 절단 방식은 적응형 절단(σ = 10⁻⁵)보다 상관계수가 낮은 0.9823을 기록하여 가능도 기반 절단이 더 효과적임을 시사했다.