[論文レビュー] InterpNET: Neural Introspection for Interpretable Deep Learning

Shane Barratt|arXiv (Cornell University)|Oct 26, 2017

Topic Modeling参考文献 14被引用数 17

ひとこと要約

この論文では、事前に訓練された分類器の内部レイヤー活性を活用して、深層学習分類の自然言語説明を生成する新しいニューラルネットワークモジュール、InterpNETを紹介する。これらの活性を用いて言語生成RNNを訓練することで、InterpNETはCUB鳥分類および説明データセットにおいて、SOTAを記録する37.9のMETEORスコアを達成し、先行手法を著しく上回った。

ABSTRACT

Humans are able to explain their reasoning. On the contrary, deep neural networks are not. This paper attempts to bridge this gap by introducing a new way to design interpretable neural networks for classification, inspired by physiological evidence of the human visual system's inner-workings. This paper proposes a neural network design paradigm, termed InterpNET, which can be combined with any existing classification architecture to generate natural language explanations of the classifications. The success of the module relies on the assumption that the network's computation and reasoning is represented in its internal layer activations. While in principle InterpNET could be applied to any existing classification architecture, it is evaluated via an image classification and explanation task. Experiments on a CUB bird classification and explanation dataset show qualitatively and quantitatively that the model is able to generate high-quality explanations. While the current state-of-the-art METEOR score on this dataset is 29.2, InterpNET achieves a much higher METEOR score of 37.9.

研究の動機と目的

• 人間の推論とブラックボックス型の深層ニューラルネットワークの間の解釈性のギャップを埋める。
• 任意の事前に訓練された分類アーキテクチャに対して自然言語の説明を生成できる汎用モジュールを開発する。
• 内部レイヤー活性に、意味的で人間が理解可能な説明を生成するのに十分な表現情報が含まれるかどうかを調査する。
• 入力観察のみに依存するのではなく、ネットワークの推論プロセスに根ざした説明を生成することで、既存のキャプション生成および説明モデルを改善する。
• 正確な分類と忠実な説明生成を両立する、解釈可能なAIのフレームワークを確立する。

提案手法

• InterpNETは、事前に訓練された分類ネットワークを用いて、中間層からの階層的な内部活性を抽出し、それらを連結して推論表現 r(x) を生成する。
• 表現 r(x) は、自然言語の説明 E(x,y) を生成するために、教師あり学習で訓練された言語生成RNN（特にLRCN2fアーキテクチャ）に供給される。
• この手法は、内部表現が推論と説明を導く人間の視覚皮質の順方向処理を模倣するように設計されている。
• モデルは、教師ありのトリオ (x, y, E(x,y)) でエンドツーエンドに訓練され、xは画像、yは真のクラス、E(x,y)は人間がアノテートした説明である。
• 分類ネットワークの隠れ層の数（0〜3）を変えて複数のInterpNETバリアントを評価し、表現の深さが説明品質に与える影響を調査した。
• 言語生成器は、語彙インデックスから英語語彙へのマッピングを用いて、語レベルの予測における交差エントロピー損失で訓練された。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークの内部活性を用いて、高品質で自然言語の説明を生成できるか？
• RQ2 最終クラス確率だけでなく、複数レベルの内部表現（入力のみまたは出力のみのベースラインと比較して）を組み込むことで、説明品質が向上するか？
• RQ3 分類ネットワークの隠れ層の深さは、生成された説明の質と一貫性にどのように影響するか？
• RQ4 InterpNETのようなモジュラでプラグイン可能なアプローチは、任意の既存の分類アーキテクチャに適用可能で、解釈可能な推論を可能にするか？
• RQ5 生成された説明は、人間の判断における意味的類似性と関連性とどの程度相関するか？

主な発見

• InterpNETはCUBデータセットで37.9のMETEORスコアを達成し、以前のSOTAモデル（29.2）を著しく上回った。
• 分類ネットワークに2つの隠れ層を使用するInterpNET 2が、すべての指標で最高の全体的性能を示し、CIDErスコア82.1を記録した。
• クラス確率のみを用いるモデル（InterpNET 0）でさえ、キャプションベースラインを上回り、METEORスコア35.0を達成した。これは、クラス統計自体が強力な説明信号を保持していることを示している。
• 隠れ層の数を2つを超えて増加させると（例：InterpNET 3）、説明品質と分類精度の両方で低下が見られた。これは、モデルの表現力と一般化性能の間のトレードオフを示唆している。
• InterpNETバリアントは、キャプションベースラインおよび視覚的説明生成のためのベースラインモデルを一貫して上回り、生の入力特徴よりも推論表現の価値を示した。
• 結果は、ニューラルネットワークの推論プロセスが内部活性にエンコードされているという仮説を、実証的に支持しており、解釈可能な説明生成を可能にする。