[論文レビュー] Visual Interpretability for Deep Learning: a Survey

Quanshi Zhang, Song‐Chun Zhu|arXiv (Cornell University)|Feb 2, 2018

Explainable Artificial Intelligence (XAI)参考文献 31被引用数 32

ひとこと要約

本調査は、畳み込みニューラルネットワーク（CNN）における深層学習の視覚的解釈可能性を向上させる手法をレビューする。具体的には、中間表現の可視化、特徴空間の診断、複雑なパターンの分離、人間を含む学習の促進を対象とする。解釈可能で分離可能な表現が、モデルの信頼性を高め、アノテーションの必要を減らし、意味レベルでのデバッグと知識移譲を可能にすることが示された。

ABSTRACT

This paper reviews recent studies in understanding neural-network representations and learning neural networks with interpretable/disentangled middle-layer representations. Although deep neural networks have exhibited superior performance in various tasks, the interpretability is always the Achilles' heel of deep neural networks. At present, deep neural networks obtain high discrimination power at the cost of low interpretability of their black-box representations. We believe that high model interpretability may help people to break several bottlenecks of deep learning, e.g., learning from very few annotations, learning via human-computer communications at the semantic level, and semantically debugging network representations. We focus on convolutional neural networks (CNNs), and we revisit the visualization of CNN representations, methods of diagnosing representations of pre-trained CNNs, approaches for disentangling pre-trained CNN representations, learning of CNNs with disentangled representations, and middle-to-end learning based on model interpretability. Finally, we discuss prospective trends in explainable artificial intelligence.

研究の動機と目的

• 高い性能を示すにもかかわらずブラックボックスとして機能する深層ニューラルネットワーク、特にCNNにおける解釈可能性の欠如という重要な課題に取り組む。
• ネットワーク表現の意味レベル理解を可能にすることで、少数の例学習、人間とコンピュータの協働、モデルデバッグのボトルネックを克服する。
• 知識移譲や弱教師あり学習を支援する、解釈可能で分離可能な表現の開発を推進する。
• 人間のフィードバックが最小限のアノテーションでモデルの最適化を導く、インタラクティブな学習パラダイムを検討する。
• 視覚的解釈可能性を記号的推論や構造化された知識表現と結びつけることで、今後の説明可能なAIの基盤を構築する。

提案手法

• 事前学習済みのCNNにおける特定のニューロンやフィルタの活性化を最大化する入力画像を生成するために、勾配ベースの可視化手法を用いる。
• アップコンボリューションネットワークを用いて特徴マップをピクセル空間に逆方向に変換し、中間表現に対応する入力パターンを再構築する。
• 特徴マップの事前知識を組み込んだ敵対的生成ネットワークを用い、意味的に意味のある可視化を合成する。
• ニューロンの正確な受容 field を推定することで、理論的なフィルタサイズを超えた空間的感度をマップする。
• クラスに依存しない特徴と注目マップを用いて、注目型手法を適用し、オブジェクト部の局在化と説明を行う。
• アクティブな質疑応答フレームワークを実装し、モデルが説明不能なオブジェクトを特定して人間からフィードバックを得ることで、部品テンプレートを改善する。AOG（アセンブリ指向グラフ）を用いて構造化表現を実現する。

実験結果

リサーチクエスチョン

• RQ1 個々のフィルタにエンコードされた視覚的パターンを明らかにするために、CNNの中間表現をどのように可視化できるか？
• RQ2 スプライアスな文脈的ヒントに依存するなど、CNN特徴空間の欠陥やバイアスを診断する手法は何か？
• RQ3 CNNフィルタに存在する複雑で混合された表現を、解釈可能で意味的に意味のある成分にどの程度まで分離できるか？
• RQ4 意味レベルでの人間を含む学習が、最小限のアノテーションで学習をどのように加速できるか？
• RQ5 分離可能で解釈可能な表現は、CNNにおける効率的で弱教師ありのミドルからエンドまでの学習を可能にするか？

主な発見

• 勾配ベースおよびアップコンボリューション手法は、個々のユニットが検出する特徴について直感的な洞察を提供するニューロンレベルのパターンを効果的に可視化する。
• 正確な受容 field の推定により、実際のニューロン感度が理論的予測を下回ることが明らかになり、空間的注目度の解釈が向上した。
• 人間のフィードバックを活用したアクティブな質疑応答により、ベースライン手法に比べて1/6～1/3のアノテーションで部品の局在化が可能となり、同等またはより高い性能が達成された。
• 人間のフィードバックを用いて抽出された潜在的パターンをインタラクティブにプルーニングすることで、意味的に関係のない成分を除去し、部品の局在化精度が著しく向上した。
• AOGにエンコードされた分離可能な表現により、オブジェクト部の構造的で記号的なモデリングが可能になり、知識移譲と意味的デバッグが実現した。
• 特定のオブジェクト部を表す分離可能なフィルタを備えた解釈可能なCNNは、高いモデルの透明性を実現し、弱教師あり学習や人間がガイドする学習を支援する。