[論文レビュー] A Framework to Learn with Interpretation

Jayneel Parekh, Pavlo Mozharovskyi+1 more|arXiv (Cornell University)|Oct 19, 2020

Explainable Artificial Intelligence (XAI)参考文献 57被引用数 6

ひとこと要約

FLINTは、中間隠れ層から抽出された高レベルの属性関数を用いて、ディープニューラルネットワーク分類器と解釈可能な解釈モデルを共同で学習する新しいフレームワークである。スパarsityとエントロピーに基づく簡潔性を強制することで、最小限の精度低下で局所的かつグローバルな解釈性を達成し、MNIST、Fashion-MNIST、CIFAR10、QuickDrawを含む画像分類タスクで最先端の手法を上回っている。

ABSTRACT

To tackle interpretability in deep learning, we present a novel framework to jointly learn a predictive model and its associated interpretation model. The interpreter provides both local and global interpretability about the predictive model in terms of human-understandable high level attribute functions, with minimal loss of accuracy. This is achieved by a dedicated architecture and well chosen regularization penalties. We seek for a small-size dictionary of high level attribute functions that take as inputs the outputs of selected hidden layers and whose outputs feed a linear classifier. We impose strong conciseness on the activation of attributes with an entropy-based criterion while enforcing fidelity to both inputs and outputs of the predictive model. A detailed pipeline to visualize the learnt features is also developed. Moreover, besides generating interpretable models by design, our approach can be specialized to provide post-hoc interpretations for a pre-trained neural network. We validate our approach against several state-of-the-art methods on multiple datasets and show its efficacy on both kinds of tasks.

研究の動機と目的

• 予測モデルと解釈モデルを共同で学習することで、ディープラーニングにおける解釈性の課題に取り組む。
• 人間が理解可能な高レベルの属性関数を通じて、局所的およびグローバルな解釈性を提供する。
• エントロピーとスパarsity正則化を用いて、属性活性化の簡潔さと多様性を強制しながら、予測精度を維持する。
• フレームワークの特化を用いて、事前学習済みモデルの後行的解釈を可能にする。
• 学習された属性概念を解釈するための可視化パイプラインを開発する。

提案手法

• FLINTは、選択された隠れ層の出力を線形分類器の重みにマップする専用の解釈ネットワークと、ディープニューラルネットワークを共同で訓練する。
• 解釈モデルは、中間特徴に適用される高レベルの属性関数の辞書を用い、予測の分解を解釈可能な概念に可能にする。
• 各入力ごとに、簡潔で多様かつ重複のない属性活性化を促進するために、スパarsityとエントロピーに基づく正則化が適用される。
• 属性ごとの寄与度を定量化する新しい関連性指標が導入され、局所的およびグローバルな解釈性を支援する。
• フレームワークは、エンドツーエンドの学習と、事前学習済みモデルの後行的解釈の両方をサポートする。
• 学習された属性を解釈するための可視化パイプラインが開発され、概念活性化技術とサリエンシーに基づくセグメンテーション分析が用いられる。

実験結果

リサーチクエスチョン

• RQ1 共同で訓練された解釈モデルは、予測精度を損なわず、局所的およびグローバルな解釈性を提供できるか？
• RQ2 エントロピーとスパarsity正則化は、簡潔で多様な属性表現を促進するのにどの程度効果的か？
• RQ3 FLINTは、事前学習済みディープニューラルネットワークの後行的解釈に効果的に適応できるか？
• RQ4 学習された属性関数は、人間が理解可能な概念と比べて一貫性と意味的整合性があるか？
• RQ5 隠れ層の選択が、解釈可能な表現の質にどのような影響を及えるか？

主な発見

• FLINTは、MNIST、Fashion-MNIST、CIFAR10、QuickDrawにおいて、属性表現の忠実性と簡潔性に優れ、解釈性の分野で最先端のパフォーマンスを達成している。
• エントロピーとスパarsity正則化は、冗長な属性活性化を効果的に低減し、より解釈可能で多様な概念表現を実現している。
• 事前学習済みモデルに適用した場合、FLINTによる後行的解釈は意味のある属性可視化をもたらすが、ネットワークのアーキテクチャや学習データに依存する。
• 学習された属性の可視化により、FLINTがCIFAR10のような複雑なデータセットでさえ、物体の部分や構造的パターンといった意味的に整合性のある概念を捉えていることが明らかになった。
• 実験により、FLINTの属性関数は、特にImageNetで学習されていないモデルでは、ACEなどのベースライン手法よりも一貫性があり、人間が解釈しやすいことが示された。
• 主観的評価により、人間のアノテーターがFLINTが生成する解釈を、既存の後行的手法よりも直感的で正確に感じることが確認された。