[論文レビュー] YASENN: Explaining Neural Networks via Partitioning Activation Sequences

Yaroslav Zharov, Denis Korzhenkov+2 more|arXiv (Cornell University)|Nov 7, 2018

Explainable Artificial Intelligence (XAI)参考文献 33被引用数 3

ひとこと要約

YASENNは、層ごとの勾配ブースティング決定木を用いて活性化シーケンスを離散的なストリームに分割することで、フィードフォワードニューラルネットワークの解釈を実現するモデル特異的手法である。入力を木のリーフインデックスのシーケンスとして符号化することで、ロジスティック回帰などの下流モデルを用いた解釈可能な分析が可能となり、否定的語の欠如に依存するような洗練された意思決定パターンを明らかにする。計算コストは低く、決定論的な学習が保たれる。

ABSTRACT

We introduce a novel approach to feed-forward neural network interpretation based on partitioning the space of sequences of neuron activations. In line with this approach, we propose a model-specific interpretation method, called YASENN. Our method inherits many advantages of model-agnostic distillation, such as an ability to focus on the particular input region and to express an explanation in terms of features different from those observed by a neural network. Moreover, examination of distillation error makes the method applicable to the problems with low tolerance to interpretation mistakes. Technically, YASENN distills the network with an ensemble of layer-wise gradient boosting decision trees and encodes the sequences of neuron activations with leaf indices. The finite number of unique codes induces a partitioning of the input space. Each partition may be described in a variety of ways, including examination of an interpretable model (e.g. a logistic regression or a decision tree) trained to discriminate between objects of those partitions. Our experiments provide an intuition behind the method and demonstrate revealed artifacts in neural network decision making.

研究の動機と目的

• 医療、金融、自律システムなど意思決定が法的・倫理的に透明性が求められる高リスク分野における解釈可能なディープラーニングの重要なニーズに対応すること。
• 勾配ベース手法の不安定性、モデルアーギュメント手法のモデル特異的洞察の欠如、および本質的に解釈可能なネットワークのアーキテクチャ制限といった、既存の解釈手法の限界を克服すること。
• 内部ニューラルネットワークのメカニズムを活用することで、より正確で信頼性の高い解釈を実現しつつ、ネットワークアーキテクチャに対してアーキテクチャに依存しない方法を提供すること。
• 規制や安全が求められる応用分野のように、解釈エラーに対する許容度が極めて低い状況でも、意図的かつ人間が理解可能な説明を可能にすること。
• 活性化シーケンスの構造的分割を通じて、ニューラルネットワークの意思決定パターンを体系的に分析・記述する方法を提供すること。

提案手法

• YASENNは、各隠れ層に対応する勾配ブースティング決定木のアンサンブルを用いて、学習済みニューラルネットワークを蒸留する。各木はその層のニューロンの活性化を入力として使用する。
• 各入力サンプルに対して、すべての木のリーフインデックスのシーケンスを収集し、入力空間を離散的なストリーム（クラスタ）に分割する一意のコードを形成する。
• 一意なコードの有限な数が、入力空間の離散的分割を誘導し、各分割は層間での活性化パターンの違いに対応する。
• 各分割（コード）は、異なる分割に属するサンプルを区別するように訓練された人間が理解可能なモデル（例：ロジスティック回帰や決定木）を用いて分析される。
• 蒸留誤差の分析とコード選択の最適化により、変更された特徴空間や許容度が低い解釈タスクへの拡張が可能である。
• 勾配ブースティング木の使用により、他の蒸留やサンプリングベース手法で一般的な確率的性質を避けるため、決定論的かつ効率的な学習が実現される。

実験結果

リサーチクエスチョン

• RQ1 活性化シーケンスの空間を離散的かつ解釈可能なストリームに分割することで、ニューラルネットワークの意思決定に意味的で人間が理解可能なパターンを明らかにできるか？
• RQ2 YASENNのモデル特異的蒸留アプローチは、モデルアーギュメント手法と比較して忠実度、安定性、解釈可能性の観点でどのように異なるか？
• RQ3 YASENNは、肯定的語の存在ではなく否定的語の欠如に依存するような、微細な意思決定の兆候をどの程度検出・説明できるか？
• RQ4 YASENNは、アーキテクチャ制限なしに、表形式データや順序データを含む多様なデータタイプやタスクに効果的に適用できるか？
• RQ5 YASENNは、解釈エラーに対する許容度が極めて低い状況でも効果的に機能するか？また、誤差を考慮した改善メカニズムを統合できるか？

主な発見

• YASENNは、テキスト分類タスクにおいて、陽性クラスの予測確率が高かったが、その背後にある理由が異なる2つの異なるストリームを特定した。1つは肯定的語の存在に依存し、もう1つは否定的語の欠如に依存していた。
• この結果から、ニューラルネットワークの意思決定が明示的な肯定的センチメントに基づいていないことが判明し、意思決定論理の脆弱性が示唆された。
• 個々のストリームに特化した1対すべてのロジスティック回帰モデルは、AUCスコア0.95および0.89を達成し、分割されたストリームが判別可能で意味のあるものであることを確認した。
• 蒸留プロセスによりモデルが本質的に正則化されるため、ノイズに対して頑健であり、変更された入力多様体への適応性も示した。
• 決定論的な学習と決定木の使用により、モデル特異的洞察を損なわず、高速で再現可能かつ低複雑度の解釈が可能となった。
• 層間の異なる活性化パターンが同じ予測をもたらすことがあることが明らかになった。これは、最終出力だけでなく、活性化の全シーケンスを分析することが重要であることを示している。