[論文レビュー] Automatic Rule Extraction from Long Short Term Memory Networks

William J. Murdoch, Arthur Szlam|arXiv (Cornell University)|Feb 8, 2017

Topic Modeling参考文献 10被引用数 64

ひとこと要約

著者らはLSTMsの単語重要度スコアを導入して代表的なフレーズを抽出し、感情分析と WikiMovies QA で LSTM 出力をほぼ近似する簡単なルールベース分類器を構築します。

ABSTRACT

Although deep learning models have proven effective at solving problems in natural language processing, the mechanism by which they come to their conclusions is often unclear. As a result, these models are generally treated as black boxes, yielding no insight of the underlying learned patterns. In this paper we consider Long Short Term Memory networks (LSTMs) and demonstrate a new approach for tracking the importance of a given input to the LSTM for a given output. By identifying consistently important patterns of words, we are able to distill state of the art LSTMs on sentiment analysis and question answering into a set of representative phrases. This representation is then quantitatively validated by using the extracted phrases to construct a simple, rule-based classifier which approximates the output of the LSTM.

研究の動機と目的

• 予測を駆動する入力パターンを特定することによって、NLPにおけるLSTMsの解釈可能性を喚起する。
• 学習したパターンを反映する訓練済みLSTMsから一貫したフレーズを抽出する。
• 単純で解釈可能なルールベース分類器を構築して抽出されたフレーズを検証する。
• 感情分析と複雑なQAデータセット（WikiMovies）双方への適用性を示す。

提案手法

• LSTM出力を、クラス確率への単語寄与を定量化する乗法項と加法項に分解する（式8–12）。
• 忘却ゲートの効果を下流の予測に考慮するための加法的セル分解を定義する（式9–12）。
• クラス固有の寄与に基づいてパターンをスコアリングして候補フレーズを抽出する（式13–16）。
• 予測に優先度の高いフレーズを使用するルールベース分類器を構築してパターンを評価する。
• WikiMoviesへの適用のために、質問で単語表現を条件付けし、エンティティ予測を二項分類タスクとして扱う（セクション5.3.2–5.3.4）。
• 解釈可能性と予測整合性を評価するために、3つの重要度指標（加法セル分解、セル差異、勾配）を比較する。

実験結果

リサーチクエスチョン

• RQ1 LSTM出力を分解して、解釈可能な単語レベルの寄与を得ることができるか？
• RQ2 感情分析とQAタスクでLSTMが学んだことを要約する一貫して重要なフレーズは存在するか？
• RQ3 抽出されたフレーズを用いたルールベース分類器は、感情分析とWikiMoviesにおけるLSTMの性能を近似できるか？
• RQ4 どの単語重要度指標が最も安定で意味のあるフレーズパターンを生み出すか？
• RQ5 抽出されたパターンは、より複雑さが増すタスク（感情分析とQA）に対してどの程度一般化するか？

主な発見

• 加法セル分解は、単純なセル差分や勾配指標より優れた、頑健で解釈可能な単語重要度スコアを提供する。
• 抽出されたフレーズは人間の直感と一致する（例：感情を表す表現、映画関連のパターン）ことが多く、合理的な精度でクラス予測に利用できる。
• 上位スコアのフレーズから構築されたルールベース分類器は、感情データセット（Yelp, SST）でLSTMの性能をほぼ近似する。
• WikiMoviesではLSTMがベースラインより高い精度を達成し、パターンベースの近似は小さな誤差範囲で近づく（パターンの中で最も強い結果をもたらすのはセル分解）。
• データセットによってパターンの品質は異なる。加法分解は代替指標よりもより明確でノイズの少ないパターンを生み出す。