[論文レビュー] Improving Interpretability of Deep Neural Networks with Semantic Information

Yinpeng Dong, Hang Su+2 more|arXiv (Cornell University)|Mar 12, 2017

Explainable Artificial Intelligence (XAI)参考文献 35被引用数 17

ひとこと要約

本稿では、解釈可能性を向上させるため、人間の記述から得られる意味的トピックを解釈損を通じてモデルに統合することで、動画字幕生成における深層ニューラルネットワーク（DNN）の解釈可能性を向上させる手法を提案する。ニューロン特徴とトピックを結びつける予測差分最大化アルゴリズムを用い、人間を含むフィードバックプロセスを可能にすることで、より正確で解釈可能な字幕が得られ、20件のテスト動画のうち17件で人間のフィードバック後に予測が改善された。

ABSTRACT

Interpretability of deep neural networks (DNNs) is essential since it enables users to understand the overall strengths and weaknesses of the models, conveys an understanding of how the models will behave in the future, and how to diagnose and correct potential problems. However, it is challenging to reason about what a DNN actually does due to its opaque or black-box nature. To address this issue, we propose a novel technique to improve the interpretability of DNNs by leveraging the rich semantic information embedded in human descriptions. By concentrating on the video captioning task, we first extract a set of semantically meaningful topics from the human descriptions that cover a wide range of visual concepts, and integrate them into the model with an interpretive loss. We then propose a prediction difference maximization algorithm to interpret the learned features of each neuron. Experimental results demonstrate its effectiveness in video captioning using the interpretable features, which can also be transferred to video action recognition. By clearly understanding the learned features, users can easily revise false predictions via a human-in-the-loop procedure.

研究の動機と目的

• 動画理解タスクにおける深層ニューラルネットワーク（DNN）のブラックボックス性を解消すること。
• 人間の記述から得られる意味情報をDNNに埋め込むことで、モデルの解釈可能性を向上させること。
• 人間ユーザーが誤った予測を修正できる人間を含むフィードバック学習手順を可能にすること。
• 学習された特徴を意味的に意味のあるトピックに関連付けることで、それらを解釈する手法を開発すること。
• 解釈可能性とフィードバック能力を、動画行動認識などの関連タスクへも適用可能にする。

提案手法

• 自然言語処理技術を用いて、人間が生成した動画字幕から意味的に意味のあるトピックを抽出する。
• 訓練中に解釈損を導入し、モデルがこれらのトピックと整合する特徴を学習するように正則化する。
• 各ニューロンが特定のトピックに関連付けられていることを解釈するために、予測差分最大化アルゴリズムを提案する。
• 誤った予測のための欠落したトピックをユーザーが供給できるように、人間を含むフィードバック学習を可能にする。
• 関連する訓練サンプルにおいて、欠落したトピックに関連するニューロンの平均活性を向上させることで、活性化を強化する。
• 微調整の目的関数として補正伝播を適用する：修正済み特徴と最適特徴のL2距離を最小化するとともに、大きなパrameterの変化をペナルティ化する。

実験結果

リサーチクエスチョン

• RQ1 人間の記述から得られる意味的トピックは、DNNの隠れ特徴を解釈するために効果的に利用可能か？
• RQ2 人間を含むフィードバック学習手順により、誤った予測の修正が可能となり、モデルの精度が向上するか？
• RQ3 訓練中に解釈可能性を統合することで、事後的解釈よりも優れたパフォーマンスと信頼性の高い予測が得られるか？
• RQ4 解釈可能性とフィードバックメカニズムは、行動認識などの他の動画理解タスクへも転送可能か？
• RQ5 人間のフィードバック後、モデルのパフォーマンスはどのように変化するか？また、過学習を伴わず一般化するか？

主な発見

• 提案手法は、修正済みテストデータにおいてBLEUスコア0.449、METEORスコア0.298を達成し、劣化を伴わずに一貫した改善が確認された。
• 人間を含むフィードバックによる修正後、誤った予測を示していた20件のテスト動画のうち17件で、後半の予測がより正確になった。これは、誤りの効果的な是正を示している。
• フィードバック後、モデルは「ペンギン」「オートバイ」「ダンス」などの顕著な視覚的コンセプトを正しく検出し、強調するよう学習し、一般化性能が向上した。
• 特徴の解釈可能性が顕著に向上し、各ニューロンの活性化が「道路」や「泳ぐ」などの意味的トピックと意味的に関連付けられるようになった。
• 補正伝播手法により、過学習を伴わず、エンコーダーが改善された特徴を生成できるように微調整されたことが、バランスの取れたL2正則化項から示された。
• 解釈可能性フレームワークは、動画行動認識へも適用可能であり、字幕生成を越えた幅広い応用可能性を示している。