[논문 리뷰] Attention Interpretability Across NLP Tasks

Shikhar Vashishth, Shyam Upadhyay외 2명|arXiv (Cornell University)|2019. 09. 24.

Explainable Artificial Intelligence (XAI)참고 문헌 31인용 수 69

한 줄 요약

논문은 주의 가중치가 해석 가능하고 다양한 NLP 작업에서 특징 중요성과 상관관계가 있음을 체계적으로 분석하지만, 주의가 실제로 모델의 예측에 영향을 미칠 때에만 그렇고, 단일 시퀀스 작업은 게이팅처럼 작동하는 반면 해석적 가중치로 보기에 어렵다.

ABSTRACT

The attention layer in a neural network model provides insights into the model's reasoning behind its prediction, which are usually criticized for being opaque. Recently, seemingly contradictory viewpoints have emerged about the interpretability of attention weights (Jain & Wallace, 2019; Vig & Belinkov, 2019). Amid such confusion arises the need to understand attention mechanism more systematically. In this work, we attempt to fill this gap by giving a comprehensive explanation which justifies both kinds of observations (i.e., when is attention interpretable and when it is not). Through a series of experiments on diverse NLP tasks, we validate our observations and reinforce our claim of interpretability of attention through manual evaluation.

연구 동기 및 목표

• 텍스트 분류를 넘어 다양한 NLP 작업에 대한 주의 해석 가능성 분석 확장.
• 주의 가중치가 특징 중요도와 상관관계가 있는 조건 식별.
• 단일 시퀀스 작업에서 주의가 게이트 역할을 할 수 있는 이유를 설명하고, 더 복잡한 작업에서는 그렇지 않은 이유를 설명.
• 여러 데이터셋과 아키텍처에 걸친 수작업 평가를 통해 해석 가능성을 검증.

제안 방법

• 단일 시퀀스, 페어 시퀀스, 생성 작업에서 Bahdanau 스타일, 계층적, 자기 주의, 트랜스포머 등의 다양한 주의 메커니즘을 사용하여 주의 평가.
• 예측에 미치는 영향을 평가하기 위해 균일한, 무작위의, 치환된 주의 가중치를 가진 모델을 비교.
• 단일 시퀀스 작업에서 주의를 게이트 유닛으로 해석하는 이론적 해석 제공.
• 주석을 통한 인간 해석 가능성 평가.
• 입력이 제거될 때 주의 가중치와 특징 중요도 간 상관관계를 JS 발산으로 분석.
• 자기 주의 모델에서 계층별 효과를 성능에 대해 조사.

실험 결과

연구 질문

• RQ1 주의 가중치는 어떤 NLP 작업에서 해석 가능합니까?
• RQ2 작업 전반에서 주의 가중치가 특징 중요도 지표와 상관관계가 있습니까?
• RQ3 단일 시퀀스와 페어 시퀀스 및 생성 작업에서 주의 가중치를 변경하면 모델 예측에 어떤 영향을 줍니까?
• RQ4 다양한 NLP 작업에서 주의 가중치는 최종 사용자가 인지할 수 있도록 해석 가능한가요?
• RQ5 Self-attention 계층(예: Transformer)이 계층 간 치환된 주의 가중치에 어떻게 반응합니까?

주요 결과

• 단일 시퀀스 작업에서 주의가 항상 설명적이지 않으며, 가중치가 추론 신호라기보다는 게이트로 작동할 수 있습니다.
• 주의 가중치를 바꾸면 페어 시퀀스 및 생성 작업에서 성능 저하가 단일 시퀀스 작업보다 훨씬 큽니다.
• 주의 가중치는 예측에 필수적인 작업에서 특히 게이트가 아닌 시나리오에서 특징 중요도와 상관관계가 있습니다.
• 자기 주의 모델(Transformers)은 계층 간 주의 가중치를 치환할 때 상당한 성능 변화를 보여주며, 이들 아키텍처가 주의에 실제로 의존함을 시사합니다.
• 수작업 인간 평가에 따르면 단일 시퀀스 작업에서 주의 가중치는 일반적으로 의미가 있지만 특정 페어 시퀀스 설정에서는 덜 의미 있습니다.