[논문 리뷰] "Will You Find These Shortcuts?" A Protocol for Evaluating the Faithfulness of Input Salience Methods for Text Classification

Jasmijn Bastings, Sebastian Ebert외 3명|arXiv (Cornell University)|2021. 11. 14.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 텍스트 분류에서 입력 시각화 방법의 신뢰성 평가를 위한 프로토콜을 제안한다. 부분적으로 합성된 데이터를 사용하여 특성 중요도 순서의 참값을 확립한다. 간단한 방법인 Grad-L2가 BERT 및 LSTM 모델에서 어휘적 단서를 탐지하는 데 있어 통합 기울기의 복잡한 설정보다 성능이 뛰어나며, 방법의 신뢰성에 대한 기존의 가정을 도전한다.

ABSTRACT

Feature attribution a.k.a. input salience methods which assign an importance score to a feature are abundant but may produce surprisingly different results for the same model on the same input. While differences are expected if disparate definitions of importance are assumed, most methods claim to provide faithful attributions and point at the features most relevant for a model's prediction. Existing work on faithfulness evaluation is not conclusive and does not provide a clear answer as to how different methods are to be compared. Focusing on text classification and the model debugging scenario, our main contribution is a protocol for faithfulness evaluation that makes use of partially synthetic data to obtain ground truth for feature importance ranking. Following the protocol, we do an in-depth analysis of four standard salience method classes on a range of datasets and shortcuts for BERT and LSTM models and demonstrate that some of the most popular method configurations provide poor results even for simplest shortcuts. We recommend following the protocol for each new task and model combination to find the best method for identifying shortcuts.

연구 동기 및 목표

• 텍스트 분류에서 입력 시각화 방법의 신뢰성 평가를 위한 표준화되고 신뢰할 수 있는 방법의 부재를 해결하기 위해.
• 특히 어휘적 단서를 탐지하기 위한 모델 디버깅 맥락에서 시각화 방법을 체계적으로 평가할 수 있는 프로토콜을 개발하기 위해.
• 일반적으로 사용되는 시각화 방법 설정이 BERT 및 LSTM 모델에서 모델 단서를 식별하는 데 신뢰할 수 있는지 테스트하기 위해.
• 기준 선택, 기울기 감소 등 방법 설정 세부 사항이 단서 탐지 성능에 미치는 영향을 실증적으로 규명하기 위해.
• NLP 모델에서 허위 상관관계나 히وري스틱 기반 예측을 드러내는 데 가장 효과적인 시각화 방법을 선택하는 데 도움을 주기 위해.

제안 방법

• 특정 어휘적 단서(예: 단일 토큰, 토큰 쌍, 또는 문맥 패턴)를 삽입하여 특성 중요도에 대한 알려진 참값을 확보한 부분적으로 합성된 데이터셋을 사용한다.
• 각 입력에 대해 시각화 방법이 토큰의 중요도 점수를 생성하고, 이를 알려진 단서 토큰과 비교하여 신뢰성 지표를 계산한다.
• 프로토콜은 BERT 및 LSTM 모델 유형을 포함한 여러 데이터셋과 모델 유형에서 통합 기울기, Grad-CAM 변형(예: Grad-L2), LIME, Gradient×Input의 네 가지 시각화 방법 유형을 평가한다.
• 주요 지표로는 정밀도@1과 평균 역수 순위(MRR)를 사용하며, 이는 방법이 식별한 가장 중요한 토큰이 실제 단서와 일치하는지를 측정한다.
• 모델 디버깅 시나리오 맥락에서, 모델이 의미적 내용이 아닌 단순한 어휘 패턴에 의존하는지 여부를 탐지하는 것이 목표이다.
• 기준 입력 또는 기울기 감소 전략(예: L1 대비 내적곱)과 같은 다양한 방법 설정 간의 통제된 비교가 가능하다.

실험 결과

연구 질문

• RQ1 텍스트 분류 모델에서 단순한 어휘적 단서를 식별하는 데 가장 효과적인 입력 시각화 방법 설정은 무엇인가?
• RQ2 기준 선택, 기울기 감소 등의 방법 설정이 알려진 단서를 탐지하는 데 있어 시각화 맵의 신뢰성에 어떤 영향을 미치는가?
• RQ3 모델 아키텍처(예: BERT 대비 LSTM)와 단서 유형(단일 토큰, 문맥적, 순서가 있는 쌍) 간에 시각화 방법 성능이 일반화되는가?
• RQ4 최근 문헌에서 일반적으로 '신뢰할 수 있는' 것으로 간주되는 방법들, 예를 들어 통합 기울기와 같은 방법들이 실제 NLP 모델에서 단서를 탐지하는 데 일관되게 신뢰할 수 있는가?
• RQ5 합성된 단서를 기반으로 한 프로토콜이 시각화 방법의 신뢰성 평가를 위한 안정적이고 반복 가능한 벤치마크를 제공할 수 있는가?

주요 결과

• 간단한 기울기 기반 방법인 Grad-L2는 BERT 및 LSTM 모델 전반에서 어휘적 단서 탐지에 있어 통합 기울기의 더 복잡한 설정보다 일관되게 뛰어난 성능을 보였다.
• L1 또는 내적곱 기울기 감소를 사용한 통합 기울기의 성능은 열악했으며, 단일 토큰 단서의 경우 정밀도@1 값이 12~13%에 불과하여 낮은 신뢰성을 보였다.
• 기준 입력의 선택이 시각화 결과에 크게 영향을 미쳤으며, 일부 설정은 단순한 단서조차도 오해의 소지가 있는 할당을 유도했다.
• 방법 성능은 단서 유형에 따라 일관되지 않았다: 예를 들어 '3 out of 10'과 같은 순서가 있는 쌍을 학습한 모델은 단일 토큰 단서보다 해석하기 어려웠고, 성능은 모델 아키텍처에 따라 달라졌다.
• 프로토콜은 최근 문헌에서 신뢰할 수 있는 것으로 여겨지는 설정(예: l-mean를 사용한 IG)이 실제로는 특히 BERT 모델에서 뚜렷한 실패를 겪을 수 있음을 드러냈다.
• BERT 모델의 경우 가장 단순한 방법인 Grad-L2가 단서를 드러내는 데 가장 효과적이었으며, 더 복잡한 방법이 본질적으로 더 신뢰성 있다는 가정을 도전했다.