[論文レビュー] TreeView: Peeking into Deep Neural Networks Via Feature-Space Partitioning

Jayaraman J. Thiagarajan, Bhavya Kailkhura+2 more|arXiv (Cornell University)|Nov 22, 2016

Explainable Artificial Intelligence (XAI)参考文献 5被引用数 45

ひとこと要約

TreeViewは、精度を損なわせることなく深層ニューラルネットワークを解釈するための階層的特徴空間分割手法を提案する。メタ特徴量はクラスタリングされた隠れ表現から導出され、意思決定ツリーのサーヴィレートによって順序付きクラス拒否を可視化する。このアプローチにより、解釈可能で要因に基づいた推論経路を通じて入力特徴量とクラス予測を結びつける忠実で高精度な解釈性が実現される。

ABSTRACT

With the advent of highly predictive but opaque deep learning models, it has become more important than ever to understand and explain the predictions of such models. Existing approaches define interpretability as the inverse of complexity and achieve interpretability at the cost of accuracy. This introduces a risk of producing interpretable but misleading explanations. As humans, we are prone to engage in this kind of behavior \cite{mythos}. In this paper, we take a step in the direction of tackling the problem of interpretability without compromising the model accuracy. We propose to build a Treeview representation of the complex model via hierarchical partitioning of the feature space, which reveals the iterative rejection of unlikely class labels until the correct association is predicted.

研究の動機と目的

• 予測性能を損なわない、成熟した高精度な深層学習モデルの解釈フレームワークの不足に応えること。
• 階層的特徴空間分割を通じて、深層ネットワークにおける順序的なクラス予測論理を可視化する手法を開発すること。
• 誤ったクラス仮説がどのように体系的に排除されて正しい予測に至るかをアナリストが追跡できるようにすること。
• 隠れ層におけるニューロン活性のクラスタリングから得られるメタ特徴量を構築することで、解釈可能でモデルに依存しない説明を提供すること。
• 複雑で高性能な深層ネットワークと人間が理解可能な意思決定経路の間のギャップを、特徴空間の抽象化によって埋めること。

提案手法

• この手法は、深層ニューラルネットワークの隠れ特徴空間をK個の重複する要因に分割し、各要因は訓練サンプル全体で類似した活性化パターンを示すニューロンのクラスタを表す。
• 各要因について、活性化がL個のグループにクラスタリングされ、各サンプルについて全K個の要因にわたるクラスタラベルを集約してメタ特徴量ベクトルが構築される。
• 各要因ごとに、入力空間からクラスタラベルを予測するランダムフォレスト分類器を訓練し、入力特徴量が各要因の意思決定にどのように寄与しているかを解釈可能にする。
• メタ特徴量上で意思決定ツリーのサーヴィレートを訓練し、全ネットワークの分類行動をモデル化することで、追跡可能で階層的な予測経路を可能にする。
• TreeView可視化では、意思決定ツリーの各ノードを仮説拒否ステップに対応させ、各要因レベルでどのクラスラベルが除外されたかを表示する。
• 各要因固有の予測器から得られる入力特徴量の重要度順位を表示し、ユーザーが入力データからクラス予測への mentally マッピングを支援する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークの意思決定を、モデルの精度を低下させることなく、階層的特徴空間分割によって解釈可能にすることができるか？
• RQ2 誤ったクラス仮説の順序的排除を、深層ネットワークの実際の意思決定プロセスを反映する形で可視化する方法は何か？
• RQ3 クラスタリングされた隠れ表現から導出されるメタ特徴量は、予測性能を保持しつつ解釈性を向上させる程度はどの程度か？
• RQ4 要因固有の入力特徴量の重要度順位は、入力データと最終予測との関係を人間が理解するのをどのように向上させるか？
• RQ5 正しく分類された例と誤って分類された例において、TreeView可視化の仮説拒否パターンにどのような差が生じるか？

主な発見

• TreeViewフレームワークはUCI Image Segmentationデータセットで96%および94%の分類精度を達成し、解釈性を高めてもモデル性能が低下しないことを示した。
• 正しく分類された例では、TreeView可視化により、ルート要因が速やかに複数のクラス（例：Grass, Path, Sky, Window）を除外していることが明らかになった。その後、Cementを除外するために3つの追加要因が順次使用された。
• 誤って分類された例のケースでは、可視化によりネットワークがFoliageと真のラベルWindowを明確に区別できていないことが示され、要因レベルでの識別力の欠如が明らかになった。
• 要因固有の予測器から得られた高順位の入力特徴量（赤色で表示）は、各意思決定ステップを駆動するデータパターンに関する実用的で有用なインサイトを提供し、アナリストがデータ-ラベル関係の mentally モデルを検証できるようにした。
• TreeViewフレームワークは、要因、ラベル、入力データの間の遷移を成功裏に実現し、ネットワークの内部表現に整合性を保ったまま関連性を維持した。
• この手法により、アナリストは入力から出力への意思決定経路を追跡でき、モデルが特徴空間の分割を通じて段階的に可能なラベルの集合を絞り込んでいることが明らかになった。