[논문 리뷰] On the Faithfulness Measurements for Model Interpretations.

Fan Yin, Zhouxing Shi외 2명|arXiv (Cornell University)|2021. 04. 18.

Topic Modeling참고 문헌 40인용 수 12

한 줄 요약

이 논문은 텍스트 분류 및 의존성 파싱 작업에서 세 가지 기준인 제거 기반 신뢰성, 민감도, 안정성에 기반한 NLP 모델 해석의 신뢰성을 평가하기 위한 체계적인 프레임워크를 제안한다. 이는 적대적 로버스트성 기반 기법을 도입하여 모든 세 가지 지표에서 최고 성능을 달성한다.

ABSTRACT

Recent years have witnessed the emergence of a variety of post-hoc interpretations that aim to uncover how natural language processing (NLP) models make predictions. Despite the surge of new interpretations, it remains an open problem how to define and quantitatively measure the faithfulness of interpretations, i.e., to what extent they conform to the reasoning process behind the model. To tackle these issues, we start with three criteria: the removal-based criterion, the sensitivity of interpretations, and the stability of interpretations, that quantify different notions of faithfulness, and propose novel paradigms to systematically evaluate interpretations in NLP. Our results show that the performance of interpretations under different criteria of faithfulness could vary substantially. Motivated by the desideratum of these faithfulness notions, we introduce a new class of interpretation methods that adopt techniques from the adversarial robustness domain. Empirical results show that our proposed methods achieve top performance under all three criteria. Along with experiments and analysis on both the text classification and the dependency parsing tasks, we come to a more comprehensive understanding of the diverse set of interpretations.

연구 동기 및 목표

• 후행 해석에서의 신뢰성 정량 측정이라는 열린 문제를 해결하기 위해.
• 제거 기반, 민감도, 안정성 지표를 포함한 다수의 서로 다른 신뢰성 개념을 정의하고 구현하기 위해.
• 다양한 해석 신뢰성 측면을 포괄하는 체계적인 평가 프레임워크를 개발하기 위해.
• 모든 세 가지 신뢰성 기준에서 성능을 향상시키는 새로운 해석 방법을 설계하기 위해.
• 텍스트 분류 및 의존성 파싱 작업에서 해석 방법에 대한 종합적인 실증 분석을 제공하기 위해.

제안 방법

• 제거 기반(입력 토큰 제거의 영향), 민감도(소규모 입력 변형에 대한 반응), 안정성(입력 변형에 대한 일관성)을 포함한 세 가지 별개의 신뢰성 기준을 제안한다.
• 모든 세 가지 기준에서 신뢰성을 향상시키기 위해 적대적 로버스트성 기법을 기반으로 한 새로운 해석 방법 클래스를 도입한다.
• 해석이 적대적 변형에 강건해지도록 최적화하면서도 모델 예측의 정확성을 유지하는 학습 프레임워크를 활용한다.
• 광범위한 적용 가능성을 확보하기 위해 제안된 평가 프레임워크를 텍스트 분류 및 의존성 파싱 작업에 적용한다.
• 비교를 위해 기울기 기반 및 샐리언시 기반 해석 기법을 기준선으로 사용한다.
• 아블레이션 연구와 통제 실험을 통해 각 신뢰성 기준의 기여도를 고립하여 분석한다.

실험 결과

연구 질문

• RQ1 제거 기반, 민감도, 안정성 지표는 해석 품질 평가에서 어떻게 다릅니다?
• RQ2 기존의 해석 방법들은 제안된 세 가지 신뢰성 기준에서 어느 정도 성능을 내나요?
• RQ3 적대적 로버스트성 기법은 NLP 모델 해석의 신뢰성을 향상시키기 위해 적응시킬 수 있나요?
• RQ4 제안된 방법들은 모든 세 가지 신뢰성 기준에서 동시에 뛰어난 성능을 달성할 수 있나요?
• RQ5 실제 NLP 작업에서 신뢰성 지표는 모델 성능과 해석 가능성과 어떻게 상관이 있나요?

주요 결과

• 해석 방법의 성능은 세 가지 신뢰성 기준 간에 크게 다름을 보이며, 이는 어떤 한 방법이 모든 신뢰성 개념에서 뛰어나지 못함을 시사한다.
• 한 기준(예: 제거 기반)에서 우수한 성능을 내는 해석은 다른 기준(예: 민감도)에선 성능이 떨어지는 경우가 많아, 다각도 평가의 필요성을 강조한다.
• 제안된 적대적 로버스트성 기반 해석 방법은 모든 세 가지 신뢰성 기준에서 최고 성능을 기록하여 그 효과성과 일반화 능력을 입증한다.
• 평가 프레임워크는 기존 해석 기법의 상호 보완적 특성과 한계를 성공적으로 드러내어, 그 신뢰성에 대해 더 세밀한 이해를 가능하게 한다.
• 텍스트 분류 및 의존성 파싱 작업에 대한 실증 결과는 모두에서 신뢰성 향상이 일관되게 관찰되어, 제안된 방법의 강건성과 확장성은 검증되었다.
• 연구 결과는 신뢰성이 단일한 성질이 아니며, 해석 품질을 종합적으로 평가하기 위해 다수의 상호보완적 지표가 필요하다는 점을 드러냈다.