[논문 리뷰] Beyond Word Importance: Contextual Decomposition to Extract Interactions from LSTMs

William J. Murdoch, Peter J. Liu외 1명|arXiv (Cornell University)|2018. 01. 16.

Topic Modeling참고 문헌 14인용 수 118

한 줄 요약

Contextual Decomposition (CD)은 개별 LSTM 예측을 구문-특정 기여도와 맥락-의존 기여도로 분해하여 단어 간의 상호작용을 단어 수준 중요도 이상의 형태로 포착합니다. 감정 분석 작업에서 CD를 검증하여 부정어와 구성적 효과를 드러냅니다.

ABSTRACT

The driving force behind the recent success of LSTMs has been their ability to learn complex and non-linear relationships. Consequently, our inability to describe these relationships has led to LSTMs being characterized as black boxes. To this end, we introduce contextual decomposition (CD), an interpretation algorithm for analysing individual predictions made by standard LSTMs, without any changes to the underlying model. By decomposing the output of a LSTM, CD captures the contributions of combinations of words or variables to the final prediction of an LSTM. On the task of sentiment analysis with the Yelp and SST data sets, we show that CD is able to reliably identify words and phrases of contrasting sentiment, and how they are combined to yield the LSTM's final prediction. Using the phrase-level labels in SST, we also demonstrate that CD is able to successfully extract positive and negative negations from an LSTM, something which has not previously been done.

연구 동기 및 목표

• NLP에서 단일 어구(unigram) 중요도 이상으로 LSTM 해석의 필요성을 제시한다.
• Contextual Decomposition (CD)을 제안하여 LSTM 출력들을 구문-특정 기여도와 맥락 기반 기여도로 분해한다.
• CD가 감정 분석 작업에서 상호작용과 부정을 드러낸다는 것을 보여준다.
• CD를 기존 해석 기준선과 비교하고 구성적 감정을 포착하는 향상을 보인다.

제안 방법

• Contextual Decomposition (CD)를 도입하여 h_t와 c_t를 구문-전용(beta) 기여도와 맥락-참여(gamma) 기여도로 분해한다(방정식 8–9).
• 게이트(i_t, f_t, g_t)와 활성화 함수를 선형 근사하여 구문과 맥락 간의 상호작용으로서 교차항을 식별한다(방정식 11–18).
• 최종 예측에 대한 구문의 기여를 정량화하기 위해 소프트맥스 입력을 W beta_T + W gamma_T로 계산한다(방정식 10).
• 구문 내부/외부의 시간 단계 전반에 걸친 beta_t 및 gamma_t 업데이트에 대한 일반 재귀식을 제공한다(부록 6.2).
• 활성화 함수 L_sigma와 L_tanh의 선형화를 입력의 순서를 평균화하여 설명한다(섹션 3.2.2, 방정식 25–28).
• SST 및 Yelp 데이터셋에서 CD를 기반선(셀 분해, 통합 그래디언트, 남기기-하나 제거, 그래디언트 × 입력)과 비교한다.

실험 결과

연구 질문

• RQ1 CD가 LSTM 예측에 대해 구문- 및 상호작용 수준의 기여를 신뢰성 있게 생성할 수 있는가?
• RQ2 CD로부터 얻은 점수는 부분구문 상호작용과 부정을 포함한 구성적 감정을 드러내는가?
• RQ3 CD는 단어-레벨 및 구문-레벨 설명에서 기존 해석 방법과 어떻게 비교되는가?
• RQ4 CD가 구문/상호작용에 대한 의미 있는 임베딩을 추출하여 의미적 유사성과 일치하는가?

주요 결과

• CD는 로지스틱 회귀 계수와 잘 상관된 단어-레벨 점수를 제공하며 SST 및 Yelp 데이터셋에서 여러 기준선보다 우수하다.
• CD는 긍정/부정 구문 내부에서 반대되는 하위구문을 식별한다(예: 긍정 구문에 부정 하위구문이 포함된 경우) 이는 기존 방법이 실패하는 경우이다.
• CD는 구문 전반에 걸친 구성적 감정을 포착하여 대규모 리뷰 구간의 감정을 다른 방법들보다 더 잘 구분한다.
• CD는 명확한 부정 상호작용을 밝히고 SST 데이터에서 양의 부정과 음의 부정을 구분한다.
• CD는 촘촘한 구문/상호작용 임베딩(beta_T)을 제공하고, 그 최근 이웃이 부정 및 수식어에 대한 의미적 직관과 일치한다.