[論文レビュー] Increasing the Interpretability of Recurrent Neural Networks Using Hidden Markov Models

Viktoriya Krakovna, Finale Doshi‐Velez|arXiv (Cornell University)|Jun 16, 2016

Explainable Artificial Intelligence (XAI)参考文献 11被引用数 58

ひとこと要約

本稿では、再帰的ニューラルネットワーク（RNN）と隠れマルコフモデル（HMM）を組み合わせたハイブリッドモデルを提案し、性能を損なわずに解釈可能性を向上させることを目的としている。LSTMの隠れ状態にHMMを訓練し、HMMの状態分布をLSTMの出力に統合することで、句読点、空白、コメント記号といった補完的特徴を学習する。これにより、RNNの挙動をより明確に解釈可能にし、単独モデルに比べて予測尤度が向上する。

ABSTRACT

As deep neural networks continue to revolutionize various application domains, there is increasing interest in making these powerful models more understandable and interpretable, and narrowing down the causes of good and bad predictions. We focus on recurrent neural networks (RNNs), state of the art models in speech recognition and translation. Our approach to increasing interpretability is by combining an RNN with a hidden Markov model (HMM), a simpler and more transparent model. We explore various combinations of RNNs and HMMs: an HMM trained on LSTM states; a hybrid model where an HMM is trained first, then a small LSTM is given HMM state distributions and trained to fill in gaps in the HMM's performance; and a jointly trained hybrid model. We find that the LSTM and HMM learn complementary information about the features in the text.

研究の動機と目的

• 高利害分野（例：医療分野）において、モデルの透明性が極めて重要な文脈において、順序データタスクにおける再帰的ニューラルネットワーク（RNN）の解釈可能性を向上させること。
• RNNの「ブラックボックス」性を解消するため、隠れマルコフモデル（HMM）の本質的に解釈可能な構造と組み合わせること。
• HMMとLSTMが、句読点、空白、コメントマーカーなどの順序データにおける補完的特徴を学習できるかどうかを調査すること。
• より良い性能と解釈可能性を実現するため、HMMとLSTMを同時にまたは逐次的に統合するハイブリッドアーキテクチャの開発と評価を行うこと。
• 視覚的および定量的証拠を提供し、ハイブリッドモデルがテキストデータに意味のある人間が理解可能なパターンを捉えていることを示すこと。

提案手法

• ドロップアウトなし、L2ノルムのしきい値5での勾配クリッピングを施した2層LSTMを、文字レベルの順序データ（シェイクスピア、Linuxカーネル、Penn Treebank）に対して学習する。
• 前向きフィルタリング後向きサンプリング（FFBS）を用いてHMMの隠れ状態をサンプリングし、遷移パラメータには多項分布-ディリクレ事後分布、発生パラメータには正規-逆ウィシャート事後分布を用いて連続HMMのパラメータを更新する。
• LSTMの隠れ状態に連続発生HMMを訓練し、高レベルの状態ダイナミクスをモデル化する。一方、比較のため、生データに直接離散発生HMMを訓練する。
• HMMの状態分布をLSTMの出力層に統合し、LSTMがHMMの予測を用いてギャップを埋め込み、耐障害性を向上させることを可能にする。
• まずHMMを訓練し、その後HMMの状態分布を入力特徴として用いて、小さなLSTMをファインチューニングするハイブリッドモデルを訓練する。
• HMMとLSTMの両コンponentを共有の監視信号のもとでエンドツーエンドに同時に最適化する共同最適化ハイブリッドモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 LSTMの隠れ状態に学習させたHMMは、テキスト内の順序パターンのより解釈可能な表現を提供できるか？
• RQ2 HMMとLSTMは、句読点、空白、コメントマーカーなどの順序データにおいて補完的特徴を学習するか？
• RQ3 HMMの状態分布をLSTMの出力に統合することで、単独モデルに比べて予測性能が向上するか？
• RQ4 ハイブリッドアーキテクチャは、より少ないパラメータ数で単一の大規模LSTMよりも優れた予測尤度を達成できるか？
• RQ5 HMMとLSTMの状態の可視化は、どの程度、人間が理解可能な意味のあるパターンを明らかにできるか？

主な発見

• 20個のLSTM次元と10個のHMM状態を用いたハイブリッドHMM-LSTMモデルは、Penn Treebankで検証尤度対数値-1.97を達成し、同じサイズの単独LSTMを上回った。
• Linuxカーネルデータセットでは、20個のLSTMと10個のHMM状態を用いた共同ハイブリッドモデルが検証尤度対数値-1.90を達成し、単独LSTMの-1.88を上回った。
• 可視化結果から、HMMはコメント記号やインデントスペースを効果的に捉えており、一方LSTMは句読点や母音パターンを特定していた。これは、補完的学習が行われていることを示している。
• 5個のLSTM次元と10個のHMM状態を用いたハイブリッドモデルは、シェイクスピアで検証尤度対数値-2.30を達成し、5次元の単独LSTM（-2.41）を上回った。
• 20個のLSTMと10個のHMM状態を用いたPenn Treebankにおける共同ハイブリッドモデルは、検証尤度対数値-1.71を達成し、テストされたすべてのモデルの中で最高であった。
• 個々のLSTM隠れ状態次元に対して訓練された決定木は、特定の次元がコメント文字や句読点を追跡していることを明らかにした。これは、解釈可能な特徴学習が行われていることを確認している。