[논문 리뷰] Are Interpretations Fairly Evaluated? A Definition Driven Pipeline for Post-Hoc Interpretability

Ninghao Liu, Yunsong Meng외 3명|arXiv (Cornell University)|2020. 09. 16.

Explainable Artificial Intelligence (XAI)참고 문헌 38인용 수 4

한 줄 요약

이 논문은 NLP에서 사후 해석 가능성에 대한 정의 기반 파이프라인(DDP)을 제안하며, 평가 지표와의 일치를 보장하기 위해 해석 알고리즘을 적대적 편향을 통해 정의한다. 메트릭 편향이 신뢰성 평가를 왜곡할 수 있음을 보여주며, DDP가 기존 방법들을 통합하고 적대적 훈련을 통해 인간의 근거와 더 잘 일치시킬 수 있음을 보여준다.

ABSTRACT

Recent years have witnessed an increasing number of interpretation methods being developed for improving transparency of NLP models. Meanwhile, researchers also try to answer the question that whether the obtained interpretation is faithful in explaining mechanisms behind model prediction? Specifically, (Jain and Wallace, 2019) proposes that "attention is not explanation" by comparing attention interpretation with gradient alternatives. However, it raises a new question that can we safely pick one interpretation method as the ground-truth? If not, on what basis can we compare different interpretation methods? In this work, we propose that it is crucial to have a concrete definition of interpretation before we could evaluate faithfulness of an interpretation. The definition will affect both the algorithm to obtain interpretation and, more importantly, the metric used in evaluation. Through both theoretical and experimental analysis, we find that although interpretation methods perform differently under a certain evaluation metric, such a difference may not result from interpretation quality or faithfulness, but rather the inherent bias of the evaluation metric.

연구 동기 및 목표

• NLP에서 사후 해석 방법에 대한 일관된 평가 기준의 부족을 해결하기 위해.
• 기존 평가 메트릭에 내재된 편향을 특정하여, 이로 인해 신뢰성 평가가 왜곡되는 것을 방지하기 위해.
• 적대적 공격을 기반으로 한 단일이고 원칙적인 정의에 따라 다양한 해석 방법을 통합하기 위해.
• 적대적 훈련을 통해 모델의 해석과 인간이 제시한 근거 간의 일치도를 향상시키기 위해.
• 신뢰성 있고 정의 기반의 해석 방법을 체계적으로 개발하고 평가할 수 있는 프레임워크를 제공하기 위해.

제안 방법

• 모델 예측을 변경하기 위해 필요한 최소한의 편향을 정의함으로써 해석을 정의하며, 적대적 공격을 핵심 정의로 사용한다.
• 기존의 해석 방법(예: 기울기 기반, 주의 기반)을 특정 조건 하에서 DDP 프레임워크의 특수 케이스로 유도한다.
• 정의와 내재적으로 일치하는 정밀도 메트릭을 제안하여 공정한 평가를 보장한다.
• CSA 메트릭을 감독 신호로 사용하여 인간이 애너테이션한 근거와 일치하도록 해석을 최적화하는 재훈련 전략을 도입한다.
• SST-2, Yelp, AGNews와 같은 다양한 모델(LSTM, BERT, LSTM_att)과 데이터셋에 DDP 프레임워크를 적용하여 일관성과 공정성 검증.
• 고정된 에프실론을 사용한 적대적 훈련을 통해 편향을 생성하고, 중요도 점수를 ||x^n - x^{*n}||_2로 계산한다.

실험 결과

연구 질문

• RQ1 통합된 해석 정의가 다양한 방법 간의 정밀도 평가에서 발생하는 일관성 문제를 해결할 수 있는가?
• RQ2 평가 메트릭이 해석 방법의 성능 인식을 왜곡하는 정도는 어느 정도인가?
• RQ3 모델 설명에서 해석을 인간이 지정한 근거와 체계적으로 일치시킬 수 있는가?
• RQ4 주의와 기울기와 같은 일반적으로 사용되는 해석 방법들이 진정으로 정밀도가 있는가, 아니면 메트릭 설계로 인해 평가가 왜곡되는가?
• RQ5 적대적 편향이 NLP의 사후 해석 가능성에 대해 원칙적이고 일반적인 정의로 기능할 수 있는가?

주요 결과

• 해석 방법의 정밀도는 평가 메트릭의 선택에 매우 민감하며, 메트릭 편향으로 인해 메트릭의 차이로 인해 성능 격차가 발생하나, 이는 방법의 품질 때문이 아니라 메트릭의 편향 때문이었다.
• 기존의 해석 방법 중 일부, 예를 들어 통합 기울기(IG)와 스무스기울기(SmoothGrad)는 특정 조건 하에서 DDP 프레임워크와 수학적으로 동일하며, 이는 단일 정의 아래에서 통합됨을 보여준다.
• 인간이 애너테이션한 근거와 함께 적대적 훈련을 수행함으로써 모델의 해석과 인간의 인지 간의 일치도가 향상되었으며, 재훈련 후 SST-2에서 유사도가 0.48에서 0.72로 증가하였다.
• Yelp 데이터셋에서 DDP 기반 평가에 따르면 CSA 메트릭 하에서 VaGrad와 SmoothGrad가 다른 방법들보다 뛰어나지만, ERA 및 MMA 메트릭 하에서는 순위가 변화하여 메트릭 의존성이 뚜렷하게 드러났다.
• Jain과 Wallace(2019)가 제안한 정밀도를 위한 두 가지 성질은 일반적으로 유효하지 않으며, 이는 해석의 정의에 따라 달라지며, DDP는 이러한 정의를 체계화한다.
• 적대적 재훈련 후 모델 정확도는 약간 감소하였다(예: SST-2에서 0.81에서 0.791로), 이는 적대적 훈련에서 강건성과 정확도 사이의 알려진 상충관계를 확인한다.