[論文レビュー] Neural Network Interpretation via Fine Grained Textual Summarization.

Pei Guo, Connor Anderson+2 more|arXiv (Cornell University)|May 23, 2018

Multimodal Machine Learning Applications参考文献 32被引用数 9

ひとこと要約

本稿では、画像キャプションの対を用いたベイズ推論により学習されたフィルタレベルの属性確率密度関数を用い、分類意思決定のための詳細なテキスト解釈を生成することで、畳み込みニューラルネットワークの弱教師付き解釈手法を提案する。この手法により、意味論的レベルのモデル解釈が可能となり、障害分析の向上が図られるとともに、属性ベースの検索および教師なしテキストグラウンディングを支援する。

ABSTRACT

Current visualization based network interpretation methodssuffer from lacking semantic-level information. In this paper, we introduce the novel task of interpreting classification models using fine grained textual summarization. Along with the label prediction, the network will generate a sentence explaining its decision. Constructing a fully annotated dataset of filter|text pairs is unrealistic because of image to filter response function complexity. We instead propose a weakly-supervised learning algorithm leveraging off-the-shelf image caption annotations. Central to our algorithm is the filter-level attribute probability density function (p.d.f.), learned as a conditional probability through Bayesian inference with the input image and its feature map as latent variables. We show our algorithm faithfully reflects the features learned by the model using rigorous applications like attribute based image retrieval and unsupervised text grounding. We further show that the textual summarization process can help in understanding network failure patterns and can provide clues for further improvements.

研究の動機と目的

• 既存の可視化ベース手法における意味論的解釈性の欠如に取り組む。
• ピクセルレベルのサリエンシーマップを越えて、分類モデルが予測に対して自然言語による解釈を生成できるようにする。
• フィルタ対テキストペアの手作業による高コストなアノテーションを回避する弱教師付き学習アプローチを開発する。
• 入力画像と特徴マップを潜在変数として用い、条件付き確率としてフィルタレベルの属性確率密度関数を学習する。
• テキスト要約の有効性を明らかにし、モデルの挙動、障害パターンの理解および改善への支援を示す。

提案手法

• 完全なフィルタ応答ペアのアノテーションなしに、既存の画像キャプションアノテーションを活用して、フィルタ対テキスト関連付けの弱教師付き学習を実現する。
• フィルタレベルの属性確率密度関数（p.d.f.）を、入力画像とその特徴マップを条件とする属性の条件付き確率として定義する。
• 画像と特徴マップを潜在変数として用い、ベイズ推論を適用してp.d.f.を推定することで、学習済みフィルタの確率的解釈を可能にする。
• 学習済みp.d.f.を用いて、フィルタが捉えた意味的コンテンツを反映した自然言語の解釈を生成する。
• 生成された要約を、属性ベースの画像検索や教師なしテキストグラウンディングといった下流タスクに活用し、解釈性の妥当性を検証する。
• 定性的および定量的分析を通じてモデル挙動を検証し、障害パターンの特定と改善のインサイトを提供する。

実験結果

リサーチクエスチョン

• RQ1 完全なアノテーションなしに、弱教師付き手法が忠実で意味的に意味のあるテキスト解釈をCNNフィルタ応答に対して生成できるか？
• RQ2 学習済みフィルタレベルの属性p.d.f.は、ネットワークが実際に学習した特徴をどれほど正確に反映しているか？
• RQ3 生成されたテキスト要約は、モデルの障害を理解し、アーキテクチャの改善を導くのに有効か？
• RQ4 属性ベースの画像検索や教師なしテキストグラウンディングといった下流タスクにおいて、この手法はどの程度支援できるか？
• RQ5 テキスト要約プロセスは、標準的な可視化手法を超えて、モデル挙動における意味的なパターンを明らかにできるか？

主な発見

• 提案手法は、フィルタ対テキストアノテーションの高コストな作業を回避しつつ、画像キャプションアノテーションのみを用いてCNNフィルタ応答の意味的根拠のあるテキスト解釈を効果的に生成できた。
• フィルタレベルの属性確率密度関数は、フィルタが捉えた意味的コンテンツを効果的に捉えており、学習済み特徴の正確な解釈を可能にした。
• テキスト要約アプローチにより、効果的な属性ベースの画像検索が実現され、意味的理解への有用性が示された。
• 本手法は教師なしテキストグラウンディングをサポートし、ペアの訓練データがなくても生成されたテキストと視覚的特徴の整合性を示した。
• 生成された解釈は、モデルの一貫性のある障害パターンを明らかにし、モデルの最適化に役立つインサイトを提供した。
• 本手法は、学習された意味を反映した解釈可能で自然言語の解釈を提供する点で、標準的な可視化手法を上回った。