[논문 리뷰] Interpreting Recurrent and Attention-Based Neural Models: a Case Study on Natural Language Inference

Reza Ghaeini, Xiaoli Z. Fern외 1명|arXiv (Cornell University)|2018. 08. 12.

Explainable Artificial Intelligence (XAI)참고 문헌 17인용 수 10

한 줄 요약

이 논문은 자연어 추론(NLI)에서 순환 및 주의 기반 신경망 모델의 해석 프레임워크를 제안하며, 주의 및 LSTM 게이팅 신호의 민감도를 시각화함으로써 모델 결정의 기초가 되는 핵심 언어적 단서—예를 들어 단어 대응 및 정보 흐름 패턴—를 폭 드러낸다. 기존의 주의 시각화만으로는 드러나지 않는, 이러한 중간 신호에 대한 기울기 분석을 통해 깊이 있는 모델 행동을 표면적인 주의 맵을 넘어서 해석할 수 있음을 입증한다.

ABSTRACT

Deep learning models have achieved remarkable success in natural language inference (NLI) tasks. While these models are widely explored, they are hard to interpret and it is often unclear how and why they actually work. In this paper, we take a step toward explaining such deep learning based models through a case study on a popular neural model for NLI. In particular, we propose to interpret the intermediate layers of NLI models by visualizing the saliency of attention and LSTM gating signals. We present several examples for which our methods are able to reveal interesting insights and identify the critical information contributing to the model decisions.

연구 동기 및 목표

• 높은 성능를 보이지만 의사결정 과정이 투명하지 않은 자연어 추론(NLI)을 위한 심층 신경망 모델의 해석성 부족 문제를 해결하기 위해.
• 특히 주의 및 LSTM 게이팅 신호와 같은 중간 구성 요소가 복잡한 NLI 작업에서 모델 예측에 어떻게 기여하는지 탐구하기 위해.
• 단어 수준의 민감도 및 주의 히트맵을 넘어서 내부 모델 역학의 功能적 역할을 드러내는 새로운 시각화 기법을 개발하고 검증하기 위해.
• 주의 및 게이팅 신호의 민감도가 표준 주의 맵에서는 보이지 않는 핵심 언어적 차이를 드러내며, 이는 깊이 있는 모델 행동을 해석할 수 있음을 입증하기 위해.
• 모델 개선 및 NLP 시스템에 대한 신뢰를 높이기 위해 모델 행동에 대한 통찰을 제공하기 위해.

제안 방법

• 최종 예측 점수에 대한 주의 유사도 값에 대한 기울기를 계산하여 주의 가중치의 민감도 분석을 제안한다.
• 각 게이트의 활성화에 대한 예측 점수의 편도함수를 계산하여 LSTM 게이팅 신호(입력, 잊기, 출력 게이트)의 민감도 분석을 확장한다.
• 차원을 줄이고 해석 가능성을 향상시키기 위해 게이트 간의 L2 노름을 사용해 민감도 및 신호 값을 통합한다.
• 입력 및 추론 LSTM 레이어의 시간 단계별로 정규화된 신호 노름과 민감도 노름을 시각화하여 전진 및 역방향 독해 동역학을 비교한다.
• 다양한 임bedding 차원에서의 모델 변형(ESIM-50 및 ESIM-300)을 SNLI 데이터에 적용하여 다양한 차원에서의 해석을 비교한다.
• 정답 레이블이 알려진 특정 예시에 시각화를 적용하여 함의, 중립, 모순 케이스에서의 모델 행동을 분석한다.

실험 결과

연구 질문

• RQ1 민감도 분석 패턴은 표준 주의 히트맵과 비교해 어떻게 모델 의사결정을 드러내는가?
• RQ2 LSTM 게이팅 신호의 민감도는 얼마나 중요한 단어나 어구를 강조하여 모델 예측을 이끄는가?
• RQ3 입력 LSTM과 추론 LSTM의 민감도 패턴은 언어적 내용에 대해 어떻게 다른 초점을 가지는가?
• RQ4 민감도 분석은 주의 맵에서 보이지 않는 모델 실패나 오류 초점(예: 비모순 단어에 잘못된 초점)을 탐지할 수 있는가?
• RQ5 더 깊은 모델(E.g., ESIM-300)은 더 浅은 모델(E.g., ESIM-50)보다 복잡한 추론 케이스에서 더 정확한 민감도 패턴을 학습하는가?

주요 결과

• 민감도 분석 결과, ESIM-300은 모순 케이스에서 'John'과 'man'과 같은 핵심 단어 쌍에 정확히 초점을 맞추는 반면, 유사한 주의 맵에도 불구하고 ESIM-50는 이를 하지 않았다.
• 추론 LSTM의 민감도는 'nap'과 같은 핵심 구별 단어에 더 집중되어 있었고, 입력 LSTM은 더 넓은 민감도 패턴을 보여, 각각 다른 처리 역할을 수행하고 있음을 시사했다.
• 중립 예시의 경우, 'with her family'에 높은 민감도가 있었고, 이는 이 문구가 전제에 존재하지 않는 정보를 도입했기 때문에 모델이 함의를 기각한 이유를 설명했다.
• 민감도 노름은 동일한 LSTM 내부의 게이트 간에 일관된 패턴을 보였으며, 입력, 잊기, 출력 게이트의 공동 해석 가능성을 시사했다.
• 전진 및 역방향 LSTM은 때로는 문장의 다른 부분에 초점을 맞추었으며, 이는 문장 이해에서 상호 보완적인 역할을 하고 있음을 나타냈다.
• 주의 시각화만으로는 서로 다른 레이블(예: 함의 vs. 모순)을 가진 케이스를 구분하지 못했지만, 민감도 맵은 모델 초점의 분리된 패턴을 명확히 드러냈다.