[論文レビュー] Neural Stethoscopes: Unifying Analytic, Auxiliary and Adversarial Network Probing.

Fabian B. Fuchs, Oliver Groth+5 more|arXiv (Cornell University)|Jun 14, 2018

Anomaly Detection Techniques and Applications参考文献 20被引用数 5

ひとこと要約

この論文では、解析的プローブ、補助的プローブ、敵対的プローブを用いて、深層ニューラルネットワーク内の特定要因の影響を定量化および制御する統合フレームワーク「ニューラル stethoscope（聴診器）」を導入する。この手法により、特定の損失関数を用いて予測のバイアスを除去し、関連する特徴の学習を強化することで、視覚的物理タスクにおけるモデルのロバスト性と性能が向上することを示している。

ABSTRACT

Model interpretability and systematic, targeted model adaptation present central tenets in machine learning for addressing limited or biased datasets. In this paper, we introduce neural stethoscopes as a framework for quantifying the degree of importance of specific factors of influence in deep networks as well as for actively promoting and suppressing information as appropriate. In doing so we unify concepts from multitask learning as well as training with auxiliary and adversarial losses. We showcase the efficacy of neural stethoscopes in an intuitive physicsdomain. Specifically, we investigate the challenge of visually predicting stability of block towers and demonstrate that the network uses visual cues which makes it susceptible to biases in the dataset. Through the use of stethoscopes we interrogate the accessibility of specific information throughout the network stack and show that we are able to actively de-bias network predictions as well as enhance performance via suitable auxiliary and adversarial stethoscope losses.

研究の動機と目的

• 深層学習におけるモデルバイアスと限られたデータの問題に取り組むため、ニューラルネットワーク内の特徴重要度を体系的に入念に調査できる仕組みを提供すること。
• マルチタスク学習、補助損失、敵対的訓練の概念を統合し、一つの解釈可能性と適応性のフレームワークとして統一すること。
• 特定の情報経路を積極的に促進または抑制することで、視覚的推論タスクにおけるモデルの性能とロバスト性を向上させること。
• ネットワークスタック全体にわたり、特定要因の影響の可視性を調べるための手法を提供すること。

提案手法

• 解析的プローブを用いて、特定要因がネットワークの予測に与える影響の度合いを定量化するフレームワークとしてニューラル stethoscope を導入する。
• 補助的 stethoscope ヘッドを用いて、学習中に特定の要因の学習を明示的に促進する。
• 敵対的 stethoscope ヘッドを適用して、ネットワークの意思決定における誤った要因やバイアスの影響を抑制する。
• 標準的損失、補助的損失、敵対的損失を併用してメインネットワークを訓練し、情報へのアクセスと制御のバランスを取る。
• stethoscope ヘッドが並列に訓練される共通のエンコーダアーキテクチャを用いることで、特徴表現の監視と調整を可能にする。
• 視覚的ヒントにバイアスが存在する可能性のあるデータセットを用いて、ブロックの積み木の安定性予測という視覚的物理ドメインにこのフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 ニューラル stethoscope は、特定要因（例：視覚的ヒント）が深層ネットワークの予測に与える影響をどの程度定量化できるか？
• RQ2 補助的 stethoscope 損失は、関連する情報を促進することで、モデルの性能をどの程度向上できるか？
• RQ3 敵対的 stethoscope 損失は、バイアスや誤った特徴を効果的に抑制できるか？
• RQ4 解析的、補助的、敵対的プローブの統合は、視覚的推論タスクにおけるモデルのロバスト性と解釈可能性をどの程度向上させるか？

主な発見

• ニューラル stethoscope は、ネットワークがブロックの配置や色といった、データセットバイアスに起因する視覚的ヒントに依存していることを明確に特定した。
• 補助的 stethoscope 損失の使用により、物理的推論に必要な特徴へのモデルのアクセスが向上し、予測の正確性が向上した。
• 敵対的 stethoscope 損失は、バイアスのある視覚的ヒントへの依存度を効果的に低減させ、よりロバストで一般化可能な予測を実現した。
• 統合フレームワークにより、ネットワーク全体にわたる特徴の可視性の体系的調査が可能となり、隠れたバイアスや情報のボトルネックが明らかになった。