[論文レビュー] Which Shortcut Cues Will DNNs Choose? A Study from the Parameter-Space Perspective

Luca Scimeca, Seong Joon Oh+3 more|arXiv (Cornell University)|Oct 6, 2021

Domain Adaptation and Few-Shot Learning参考文献 34被引用数 10

ひとこと要約

この論文は、複数のヒントが同等に予測可能であるにもかかわらず、深層ニューラルネットワーク（DNNs）がなぜ特定のショートカット的ヒント（例：色や人種）を他のヒントよりも好むのかを調査する。合成データおよび実データを用いた新しいWCST-MLトレーニング設定により、著者らはDNNsがパラメータ空間においてより豊富に存在するコルモゴロフ単純なヒントを好むことを示した。これは、バイアスの強い一般化と倫理的リスクを引き起こし、モデルのバイアスを是正するための人的な能動的介入が求められることを示唆している。

ABSTRACT

Deep neural networks (DNNs) often rely on easy-to-learn discriminatory features, or cues, that are not necessarily essential to the problem at hand. For example, ducks in an image may be recognized based on their typical background scenery, such as lakes or streams. This phenomenon, also known as shortcut learning, is emerging as a key limitation of the current generation of machine learning models. In this work, we introduce a set of experiments to deepen our understanding of shortcut learning and its implications. We design a training setup with several shortcut cues, named WCST-ML, where each cue is equally conducive to the visual recognition problem at hand. Even under equal opportunities, we observe that (1) certain cues are preferred to others, (2) solutions biased to the easy-to-learn cues tend to converge to relatively flat minima on the loss surface, and (3) the solutions focusing on those preferred cues are far more abundant in the parameter space. We explain the abundance of certain cues via their Kolmogorov (descriptional) complexity: solutions corresponding to Kolmogorov-simple cues are abundant in the parameter space and are thus preferred by DNNs. Our studies are based on the synthetic dataset DSprites and the face dataset UTKFace. In our WCST-ML, we observe that the inborn bias of models leans toward simple cues, such as color and ethnicity. Our findings emphasize the importance of active human intervention to remove the inborn model biases that may cause negative societal impacts.

研究の動機と目的

• DNNsが複数のヒントが同等に予測可能であるにもかかわらず、特定のショートカット的ヒントを他のヒントよりも好む理由を理解すること。
• パラメータ空間の幾何構造が、特定のヒントに偏ったモデルバイアスをどのように形成するかを調査すること。
• ヒントのコルモゴロフ複雑度と、学習済みDNNソリューションにおけるそのヒントの出現頻度との関連を検討すること。
• 人種や肌の色といった単純で倫理的に問題のあるヒントをショートカットとして使用するDNNの社会的影響を評価すること。
• 今後の研究のための、ヒントの複雑度を測定するツールおよびパラメータ空間におけるソリューションパスを追跡するツールを提供すること。

提案手法

• 複数の同等に有効なヒント（色、形状、スケール）を備えた合成データセット（WCST-ML）を設計し、DNNにおけるヒント選好を分離して分析する。
• フィードフォワード、ResNet、ビジョントランスフォーマーといった多様なDNNアーキテクチャを、対角線トレーニングセットで学習させ、ヒント選択行動を観察する。
• 非対角線テストサンプルを用いて、モデルの予測に基づき、どのヒントに依存しているかを解読する。
• 各ヒントのコルモゴロフ複雑度（KC）を測定し、その記述的単純さを定量化する。
• 各ヒントに偏ったパラメータ空間の解の体積を分析し、単純なヒントに偏った解が顕著に大きな領域を占めることを確認する。
• 異なるヒントに偏った解の間をつなぐ連続的パスを追跡するための異種ゼロロス曲線を構築し、損失関数の幾何的差異を確認する。

実験結果

リサーチクエスチョン

• RQ1 複数のヒントが同等に予測可能であるにもかかわらず、DNNsがなぜ一貫して特定のショートカット的ヒントを他のヒントよりも好むのか？
• RQ2 パラメータ空間の幾何的構造は、特定のヒントに偏った解の出現頻度にどのように影響するか？
• RQ3 ヒントのコルモゴロフ複雑度が、DNNがそのヒントを選択する確率をどの程度まで予測できるか？
• RQ4 パラメータ空間における単純さバイアスは、分布シフト下でのモデル一般化にどのように影響するか？
• RQ5 DNNsが単純で社会的に敏感なヒント（例：人種や肌の色）を好むことによる倫理的影響は何か？

主な発見

• ターゲットラベルとの相関が同等であるにもかかわらず、DNNsはコルモゴロフ複雑度が低いヒント（例：色、人種）を、より複雑なヒント（例：方向）よりも一貫して好む。
• 単純なヒントに偏った解は、複雑なヒントに偏った解と比べて、パラメータ空間において顕著に大きな体積を占める。
• 単純なヒントに偏った解の周囲の損失関数の形状は、複雑なヒントに偏った解よりも平坦になっており、より高いロバストネスと収束安定性を示している。
• この単純なヒントへの好みは、ResNet やビジョントランスフォーマーといった多様なアーキテクチャにわたり一貫しており、初期重みのランダム化とは無関係である。
• 実験的結果により、ヒントのコルモゴロフ複雑度とモデルの好みの間には強い負の相関が確認され、単純さと解の豊富さとの理論的関連性が裏付けられた。
• 本研究は、DNNsが自然に単純なヒントを好む傾向があることが、人種や肌の色といったヒントをショートカットとして使用する場合に、有害な社会的バイアスを引き起こす可能性があることを明らかにした。これにより、モデル行動の是正のための人的な能動的介入が不可欠であることが示された。