[論文レビュー] Learning with Interpretable Structure from RNN.

Bojian Hou, Zhi‐Hua Zhou|arXiv (Cornell University)|Oct 25, 2018

Machine Learning and Algorithms参考文献 31被引用数 22

ひとこと要約

本稿では、ゲート付き再帰的ニューラルネットワーク（RNN）から解釈可能な有限状態オートマトン（FSA）を学習する2つのクラスタリングベースの手法を提案する。これにより、RNNの挙動に関する明確な洞察が得られる。得られたFSAモデルは、RNNよりも解釈可能で信頼性が高く、とりわけ安全が重要な応用分野において有効である。また、RNN内に内在する意味的状態の集約と、テキスト分類のメカニズムを明らかにする。

ABSTRACT

The interpretability of deep learning models has raised extended attention these years. It will be beneficial if we can learn an interpretable structure from deep learning models. In this paper, we focus on Recurrent Neural Networks~(RNNs) especially gated RNNs whose inner mechanism is still not clearly understood. We find that Finite State Automaton~(FSA) that processes sequential data has more interpretable inner mechanism according to the definition of interpretability and can be learned from RNNs as the interpretable structure. We propose two methods to learn FSA from RNN based on two different clustering methods. With the learned FSA and via experiments on artificial and real datasets, we find that FSA is more trustable than the RNN from which it learned, which gives FSA a chance to substitute RNNs in applications involving humans' lives or dangerous facilities. Besides, we analyze how the number of gates affects the performance of RNN. Our result suggests that gate in RNN is important but the less the better, which could be a guidance to design other RNNs. Finally, we observe that the FSA learned from RNN gives semantic aggregated states and its transition graph shows us a very interesting vision of how RNNs intrinsically handle text classification tasks.

研究の動機と目的

• ゲート付きRNNの内部メカニズムがまだ十分に理解されていないことに対応し、解釈性を向上させること。
• RNNから学習可能な、より解釈可能な構造的抽象化—有限状態オートマトン（FSA）—を同定すること。
• 学習されたFSAが、人間が関与するシステムや安全が重要な応用分野において、RNNの信頼できる代替手段として機能するかを評価すること。
• RNNのゲート数が性能および解釈性に与える影響を調査すること。
• 学習されたFSAの遷移グラフを通じて、RNNの内在的な意味的および構造的挙動を解明すること。

提案手法

• k-meansクラスタリングをRNNの隠れ状態に適用し、類似した状態をFSA状態にグループ化することで、状態のパーティショニングを形成する。
• 階層的クラスタリングを用いてRNNの隠れ状態をFSA状態にグループ化し、より構造的な状態抽象化を可能にする。
• RNNで観察されたクラスタ割り当てと遷移確率に基づき、FSA遷移グラフを構築する。
• 教師ありの目的関数を用いてFSAを訓練し、元のモデルの出力挙動を模倣することで、忠実性を確保する。
• FSAの遷移グラフと状態構造を用いて、RNNが逐次データをどのように処理し、テキスト分類を実行しているかを分析する。
• 合成データおよび実世界のデータセットにおいて、FSAの性能と解釈性を元のRNNと比較評価する。

実験結果

リサーチクエスチョン

• RQ1 ゲート付きRNNの隠れ状態から、クラスタリング手法を用いて解釈可能な有限状態オートマトン（FSA）を効果的に学習できるか？
• RQ2 テキスト分類タスクにおいて、学習されたFSAの性能と解釈性は、元のRNNと比べてどのように異なるか？
• RQ3 RNNのゲート数が、全体の性能および解釈可能な構造の学習可能性に与える影響は何か？
• RQ4 学習されたFSAの遷移パターンと集約状態は、RNNが逐次データを処理する方法に関する意味的なまたは構造的な洞察を示しているか？
• RQ5 FSAは、人間の監視が関与するか、安全が重要なシステムにおいて、信頼できる代替手段として機能できるか？

主な発見

• 学習されたFSAモデルは、元のRNNよりも解釈可能で信頼性が高く、安全が重要な応用や人間が関与するシステムへの導入に適している。
• FSAは意味的集約状態を捉えていることから、RNNが入力シーケンスを意味のある意味的カテゴリに暗黙的にグループ化していることが示唆される。
• FSAの遷移グラフは、RNNが逐次データを処理し、分類する方法の構造的かつ階層的なビューを示しており、内部論理に関する洞察を提供する。
• RNNのゲート数は性能に顕著な影響を与える。結果から、ゲート数が少ないほど解釈性と性能が向上する傾向があることから、複雑さと明快さのトレードオフが存在することが示唆される。
• RNNから学習されたFSAは、人工的および実世界のデータセットの両方で競争力のある性能を示しており、代替モデルとしての忠実性と実用性が検証された。
• クラスタリングベースのFSA学習アプローチは、複雑なRNNダイナミクスから人間が読み取り可能な構造を効果的に抽出し、モデルの透明性を向上させた。