[論文レビュー] Fighting Fire with Fire: Avoiding DNN Shortcuts through Priming

Chuan Wen, Jianing Qian+4 more|arXiv (Cornell University)|Jun 22, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本論文は、ドメイン知識に基づく補助信号を注入することで、深層ニューラルネットワーク（DNN）が余計なショートカット（例えば、物体ではなく背景を分類すること）を学習するのを防ぐ、単純だが効果的な手法「プライミング」を提案する。キーデータ特徴（例：顕著な前方領域や最近のフレーム）から導出されるプライミング変数を用いてDNNを訓練することで、モデルはより頑健でタスクに適した表現を学習するよう誘導され、画像分類、模倣学習、自律走行のベンチマークで最先端の性能を達成する。

ABSTRACT

Across applications spanning supervised classification and sequential control, deep learning has been reported to find "shortcut" solutions that fail catastrophically under minor changes in the data distribution. In this paper, we show empirically that DNNs can be coaxed to avoid poor shortcuts by providing an additional "priming" feature computed from key input features, usually a coarse output estimate. Priming relies on approximate domain knowledge of these task-relevant key input features, which is often easy to obtain in practical settings. For example, one might prioritize recent frames over past frames in a video input for visual imitation learning, or salient foreground over background pixels for image classification. On NICO image classification, MuJoCo continuous control, and CARLA autonomous driving, our priming strategy works significantly better than several popular state-of-the-art approaches for feature selection and data augmentation. We connect these empirical findings to recent theoretical results on DNN optimization, and argue theoretically that priming distracts the optimizer away from poor shortcuts by creating better, simpler shortcuts.

研究の動機と目的

• 分布シフト下で失敗するDNNの余計なショートカット学習という広範な問題に対処すること。
• ドメイン知識に基づくプライミング信号を組み込むことで、DNN最適化がより頑健で一般化可能な解へと誘導されるかを調査すること。
• 近似的なキーデータ特徴に基づくプライミングが、特徴選択およびデータ拡張の分野で既存の最先端手法を上回ることを示すこと。
• プライミングが悪い局所最適解を避ける理由を理論的に正当化すること。

提案手法

• ドメイン知識を用いて、キーデータ特徴（画像内の顕著な前方領域や順序的なタスクにおける最近の観測など）から得られる「プライミング」信号を導入する。
• 完全な入力とプライミング変数の両方を用いてDNNをエンドツーエンドで訓練し、プライミング変数が関連する入力領域への注目を偏らせる監督信号として機能するようにする。
• 小さなバックボーンやヒューリスティックを用いてターゲットラベルの粗い推定を得ることで、キーデータ入力からプライミング変数を生成する。
• NICO画像分類、MuJoCo連続制御、CARLA自律走行の3つの設定で本手法を適用する。
• プライミング信号は完璧である必要はなく、多くの場合でタスクに関連する情報を含んでいれば十分である。
• 理論的分析により、プライミングがNTRおよび線形化理論と関連づけられ、損失関数の地形においてより単純で最適化されやすいパスを生成することが示された。

実験結果

リサーチクエスチョン

• RQ1 キーデータ特徴に基づく単純なプライミング信号の注入により、DNNの一般化性能が向上し、ショートカット学習が軽減されるか？
• RQ2 分布シフトに起因する失敗を回避する観点で、プライミングは最先端のデータ拡張および特徴選択技術と比べてどのように異なるか？
• RQ3 プライミングが最適化アルゴリズムが悪い局所最適解に陥るのを防ぐ理論的メカニズムは何か？
• RQ4 プライミング信号が不正確または時々誤りである場合でも、本手法は依然として有効であるか？
• RQ5 画像分類、模倣学習、自律走行など多様なタスクに本手法を効果的に適用できるか？

主な発見

• 提案されたプライミング手法は、NICO画像分類、MuJoCo連続制御、CARLA自律走行のベンチマークで、既存の最先端のデータ拡張および特徴選択手法を著しく上回る性能を達成した。
• NICOデータセットでは、プライミングによりモデルが背景ではなく物体に基づいて分類するよう誘導され、ショートカット学習が顕著に減少した。
• CARLA自律走行では、モデルが過去の行動を「コピーカット」するのを防ぐことで、新しい交通信号に適切に反応できるようになった。
• 実験的結果から、粗いプライミング信号でさえも、分布シフト下でのより頑健な一般化をもたらすことが示された。
• 理論的分析により、プライミングが損失関数の地形においてより単純で構造的に整った最適化パスを生成し、悪いショートカットに収束する可能性を低下させることを示唆した。
• 本手法は実装が簡単で、エンドツーエンドで学習可能であり、アーキテクチャの変更なしに多様な実世界の応用に効果的に適用可能である。