[논문 리뷰] Automatic Rule Extraction from Long Short Term Memory Networks

William J. Murdoch, Arthur Szlam|arXiv (Cornell University)|2017. 02. 08.

Topic Modeling참고 문헌 10인용 수 64

한 줄 요약

저자들은 LSTM에 대한 단어 중요도 점수를 도입하여 대표 구를 추출하고, 감정 분석과 WikiMovies QA에서 LSTM 출력에 근접하게 작동하는 간단한 규칙 기반 분류기를 구축합니다.

ABSTRACT

Although deep learning models have proven effective at solving problems in natural language processing, the mechanism by which they come to their conclusions is often unclear. As a result, these models are generally treated as black boxes, yielding no insight of the underlying learned patterns. In this paper we consider Long Short Term Memory networks (LSTMs) and demonstrate a new approach for tracking the importance of a given input to the LSTM for a given output. By identifying consistently important patterns of words, we are able to distill state of the art LSTMs on sentiment analysis and question answering into a set of representative phrases. This representation is then quantitatively validated by using the extracted phrases to construct a simple, rule-based classifier which approximates the output of the LSTM.

연구 동기 및 목표

• NLP에서 LSTM의 예측을 이끄는 입력 패턴을 식별하여 해석 가능성을 높인다.
• 학습된 LSTM에서 일관된 구를 추출하여 학습 패턴을 반영한다.
• 간단하고 해석 가능한 규칙 기반 분류기를 구축하여 추출된 구를 검증한다.
• 감정 분석과 복잡한 QA 데이터셋(WikiMovies)에의 적용 가능성을 입증한다.

제안 방법

• LSTM 출력은 클래스 확률에 대한 단어 기여도를 정량화하는 곱셈 및 덧셈 항으로 분해된다(식 8–12).
• 잊어버림 게이트의 효과가 다운스트림 예측에 미치는 영향을 설명하기 위한 덧셈 셀 분해를 정의한다(식 9–12).
• 패턴의 클래스 특유의 기여도에 따라 점수를 매겨 후보 구를 추출한다(식 13–16).
• 우선순위가 높은 구를 사용해 예측을 수행하는 규칙 기반 분류기를 구축하여 패턴을 평가한다.
• WikiMovies에 접근법을 적용하기 위해 단어 표현을 질문에 조건화하고 엔티티 예측을 이진 분류 문제로 다룬다(섹션 5.3.2–5.3.4).
• 해석 가능성과 예측 정렬성을 평가하기 위해 세 가지 중요도 측정치(additive cell decomposition, cell difference, gradient)를 비교한다.

실험 결과

연구 질문

• RQ1 LSTM 출력이 단어 수준 기여도로 해석 가능한 형태로 분해될 수 있는가?
• RQ2 감정 분석 및 QA 작업에서 LSTM이 학습한 것을 요약하는 일관되게 중요한 구가 존재하는가?
• RQ3 추출된 구를 사용한 규칙 기반 분류기가 감정 분석과 WikiMovies에서 LSTM 성능을 근접하게 모사할 수 있는가?
• RQ4 어떤 단어 중요도 측정치가 가장 안정적이고 의미 있는 구 패턴을 산출하는가?
• RQ5 점진적으로 복잡해지는 과제(감정 vs. QA)에서 추출된 패턴이 얼마나 잘 일반화되는가?

주요 결과

• Additive cell decomposition provides robust, interpretable word-importance scores that outperform simple cell-difference or gradient measures.
• Extracted phrases align with human intuition (e.g., sentiment-bearing expressions; movie-related patterns) and can be used to predict classes with reasonable accuracy.
• A rules-based classifier built from top-scoring phrases closely approximates LSTM performance on sentiment datasets (Yelp, SST).
• On WikiMovies, the LSTM achieves higher accuracy than baselines, and pattern-based approximations approach within a small error margin (cell decomposition yielding strongest results among patterns).
• Pattern quality varies by dataset; additive decomposition yields clearer, less noisy patterns than alternative measures.