[論文レビュー] LioNets: Local Interpretation of Neural Networks through Penultimate Layer Decoding

Ioannis Mollas, Nikolaos Bassiliades+1 more|arXiv (Cornell University)|Jun 15, 2019

Adversarial Robustness in Machine Learning参考文献 16被引用数 13

ひとこと要約

LioNets は、深層ニューラルネットワークのための局所的説明手法を提案する。この手法は、最終層の1つ前（penultimate layer）の潜在空間において近傍インスタンスを生成することで、より優れた特徴の隣接性と忠実性を確保する。この潜在空間からの入力を再構築するためのデコーダーを訓練することで、LIME よりもより正確で安定した説明を実現し、NLP タスクにおける微細な特徴重要度の変化を捉えるのに優れている。

ABSTRACT

Technological breakthroughs on smart homes, self-driving cars, health care and robotic assistants, in addition to reinforced law regulations, have critically influenced academic research on explainable machine learning. A sufficient number of researchers have implemented ways to explain indifferently any black box model for classification tasks. A drawback of building agnostic explanators is that the neighbourhood generation process is universal and consequently does not guarantee true adjacency between the generated neighbours and the instance. This paper explores a methodology on providing explanations for a neural network's decisions, in a local scope, through a process that actively takes into consideration the neural network's architecture on creating an instance's neighbourhood, that assures the adjacency among the generated neighbours and the instance.

研究の動機と目的

• LIME のようなモデルに依存しない局所的説明手法の限界を解決する。LIME は元の入力空間で近傍を生成するが、スパースな摂動により隣接性が悪くなるリスクがある。
• 最終層の1つ前の層の密な潜在表現において近傍を生成することで、モデルの内部意思決定境界をよりよく反映し、説明の忠実性と局所性を向上させる。
• ニューラルネットワークが学習した表現を活用することで、生成された近傍が元のインスタンスと意味的・構造的に近くなるように保証する。
• 深層ニューラルネットワークのアーキテクチャに内蔵されたインダクティブバイアスを保つことで、より信頼性が高く頑健な局所的説明を生成する。
• 従来の最先端手法（例：LIME）と比較して、より正確で安定した特徴重要度推定を実現する方法を開発する。

提案手法

• 元の入力空間ではなく、訓練済みニューラルネットワークの最終層の1つ前の層に局所的近傍を構築する。
• 元の入力例を最終層の1つ前の表現から再構築するためのデコーダーネットワークを訓練し、変分オートエンコーダーに類似した構造を形成する。
• デコーダーを用いて摂動を加えた潜在表現を元の入力空間に戻すことで、元の特徴空間での解釈を可能にする。
• 元のニューラルネットワークの予測（クラス確率）を併合することで、デコードされた近傍とその対応する予測を含むオラクルデータセットを構築する。
• オラクルデータセット上で透明性が高く解釈可能なモデル（例：リッジ回帰）を訓練し、説明として特徴重要度の重みを抽出する。
• 元のインスタンスの特徴値で係数をスケーリングすることで、特徴ごとの帰属度を計算し、直感的でインスタンス固有の説明を生成する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークの最終層の1つ前の層で近傍インスタンスを生成することで、元の入力空間を摂動させる手法（例：LIME）よりも忠実で正確な局所的説明が得られるか？
• RQ2 潜在空間から入力空間に戻すために学習されたデコーダーを用いることで、近傍と元のインスタンスとの間の近接性（隣接性）がより良く保たれるか？
• RQ3 LIME と比較して、LioNets はスパースなデータ（例：テキスト）において、文脈依存の微細な特徴重要度の変化をどれほど正確に捉えられるか？
• RQ4 潜在空間表現によって、入力空間の摂動と比較して、より代表的で密度の高い近傍がどれほど効果的に生成できるか？
• RQ5 この手法は、NLP アプリケーションにおける深層ニューラルネットワーク意思決定の解釈可能性を向上させつつ、高い忠実性を維持できるか？

主な発見

• LioNets は、アブレーションスタディとの一貫性から、LIME よりもより正確な特徴重要度の説明を生成する。例えば、'are' や 'wife' といった特徴を削除すると、それぞれ 'hate' クラスや 'spam' クラスの予測確率が低下する。
• LioNets が最終層の1つ前の層で生成する近傍は、元のインスタンスとの間でユークリッド距離が著しく小さい（0.2163）のに対し、LIME の元の空間での近傍は 0.3961 であり、隣接性が優れていることが示された。
• 元の空間にデコードされた後も、LioNets の近傍はわずかに距離が離れている（0.7635）が、LIME の近傍（0.3961）と比較してやや遠い。しかし、この手法は意味的・構造的な近接性が保たれる空間で近傍を構築するため、その恩恵を享受できる。
• LIME が生成できる固有の近傍の数が限られているため、LIME が見逃しがちな微細な特徴重要度の変化を、この手法は捉えることができる。特に、テキストのようなスパースかつ高次元のデータにおいて顕著である。
• 最終層の1つ前の層で学習されたデコーダーを用いることで、潜在空間においてより大規模で密度が高く、代表的な近傍が生成可能となり、透明なモデルの学習の頑健性が向上する。
• ハイトスピーチおよびSMSスパムの2つのデータセットにおいて、LioNets の説明はアブレーション結果とより安定しており一貫性があり、特徴帰属度の信頼性が確認された。