[논문 리뷰] Visualizing and Understanding Neural Models in NLP

Jiwei Li, Xinlei Chen외 2명|arXiv (Cornell University)|2015. 06. 02.

Topic Modeling참고 문헌 25인용 수 166

한 줄 요약

이 논문은 자연어 처리(NLP)에서 신경망의 조합성(compositionality)을 해석하기 위해 단위 활성도 플롯과 1차 도함수를 통한 중요도 추정 기법을 도입한다. 분석 결과, LSTMs가 부정 및 조건부 절에서 ' hate '과 같은 핵심 단어에 뚜렷이 집중하는 것으로 나타났으며, 표준 RNN보다 의미의 비대칭성을 더 잘 포착함을 보여주며, 중요도 분석이 의미 조합 과정에서 모델의 행동을 드러낼 수 있음을 입증한다.

ABSTRACT

While neural networks have been successfully applied to many NLP tasks the resulting vector-based models are very difficult to interpret. For example it's not clear how they achieve {\em compositionality}, building sentence meaning from the meanings of words and phrases. In this paper we describe four strategies for visualizing compositionality in neural models for NLP, inspired by similar work in computer vision. We first plot unit values to visualize compositionality of negation, intensification, and concessive clauses, allow us to see well-known markedness asymmetries in negation. We then introduce three simple and straightforward methods for visualizing a unit's {\em salience}, the amount it contributes to the final composed meaning: (1) gradient back-propagation, (2) the variance of a token from the average word node, (3) LSTM-style gates that measure information flow. We test our methods on sentiment using simple recurrent nets and LSTMs. Our general-purpose methods may have wide applications for understanding compositionality and other semantic properties of deep networks , and also shed light on why LSTMs outperform simple recurrent nets,

연구 동기 및 목표

• 강력한 성능를 보이지만 투명성이 부족한 신경망 NLP 모델의 해석 가능성 격차를 해소하기 위해.
• 특히 부정 및 강조 표현과 같은 경우에서 단어와 어구로부터 의미를 어떻게 조합하는지 시각화하기 위해.
• 1차 도함수를 활용한 일반적인 방법론을 개발하여 각 단위가 최종 출력에 얼마나 기여하는지 중요도를 분석하기 위해.
• LSTM과 표준 RNN 등의 아키텍처 간에 의미 조합성을 포착하는 데서의 모델 행동을 비교하기 위해.
• 특정 아키텍처(예: LSTM)가 복잡한 언어 현상 처리에서 다른 이들보다 뛰어난 이유에 대한 初기 통찰을 제공하기 위해.

제안 방법

• 부정 및 조건부 절과 같은 경우에서 표현의 진화 과정을 시각화하기 위해 층을 거쳐 단위 활성도 값을 플로팅하기.
• 시간 역전파를 통한 역전파를 이용해 1차 도함수를 활용해 중요도를 계산함—즉, 각 단위가 최종 출력에 기여하는 정도를 측정함.
• 시퀀스에서 시퀀스로의 오토인코더에 중요도 히트맵을 적용하여 각 출력 토큰 예측에 영향을 주는 입력 토큰을 시각화함.
• 분산 기반 중요도 측정법 도입: 문장 수준 평균 임베딩에서 각 단어 임베딩의 편차를 계산하여 중요한 단어를 식별함.
• LSTM, Bi-LSTM, 표준 RNN, seq2seq 오토인코더 등의 다양한 모델에서 시각화 기법을 통합하여 해석 가능성과 행동을 비교함.
• 컴퓨터 비전에서 영감을 얻은 복구 및 역전파 기법을 활용함—NLP의 순차적이고 단어 기반의 입력 구조에 맞게 적응함.

실험 결과

연구 질문

• RQ1 부정, 강조 또는 조건부 절을 포함한 문장에서 신경망 모델은 어떻게 의미를 조합하는가?
• RQ2 1차 도함수로 측정된 중요도는 최종 예측을 형성하는 데 핵심이 되는 단어를 식별하는 데 어떤 역할을 하는가?
• RQ3 LSTM과 표준 RNN 등의 다양한 아키텍처는 의미 조합 과정에서 중요한 단어에 집중하는 능력에서 어떻게 다를까?
• RQ4 중요도 맵과 분산 기반 측정법은 신경망 내 국소적 조합성을 어느 정도 드러낼 수 있는가?
• RQ5 시각화 기법은 신경망 모델 행동에서 알려진 언어학적 비대칭성(예: 부정의 비대칭성)을 드러낼 수 있는가?

주요 결과

• LSTM 모델은 'hate'와 같은 핵심 단어에 더 뚜렷한 집중을 보이며, 여러 층을 거쳐도 높은 중요도 값이 유지되는 것으로 나타났다. 이는 표준 RNN과는 다름.
• 'hate'의 중요도는 7~8개의 컨볼루션 연산 이후에도 뚜렷하게 유지되어 의미 신호의 강력한 유지가 있음을 시사한다.
• 표준 RNN은 문장 'I hate the movie though the plot is interesting'을 매우 부정으로 올바르게 분류하지만, 첫 번째 절을 약하게 처리함으로써 숨겨진 정보 흐름이 존재함을 시사한다.
• Bi-LSTM 모델은 'hate the movie'와 'plot is interesting' 양쪽 절에 균형 잡힌 주의를 기울임.
• seq2seq 오토인코더에서의 중요도 히트맵은 각 예측된 단어가 해당 입력 영역(예: 'hate' → 'hate')과 연결되어 있음을 보여주며, 학습된 정렬을 드러냄.
• 디코딩이 진행됨에 따라 입력 토큰의 영향력은 감소하고 언어 모델 구성 요소가 지배적 역할을 함으로써 입력 기반 추론에서 자동귀납적 추론으로의 전환을 보여줌.