[論文レビュー] On the Foundations of Shortcut Learning

Katherine L. Hermann, Hossein Mobahi+2 more|arXiv (Cornell University)|Oct 24, 2023

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本論文は、制御された生成的データセットフレームワークにおいて、特徴の予測可能性と利用可能性を体系的に操作することで、深層ニューラルネットワークにおけるショートカット学習の根本的原因を調査する。非線形アーキテクチャはインダクティブバイアスに起因し、内在的にショートカットバイアスを示すことが示され、深層モデルではこの効果が強化される。ニューラルタングェントカーネル（NTK）分析による理論的裏付けにより、ショートカット学習は非線形学習システムの必然的特性であることが明らかになった。

ABSTRACT

Deep-learning models can extract a rich assortment of features from data. Which features a model uses depends not only on \emph{predictivity} -- how reliably a feature indicates training-set labels -- but also on \emph{availability} -- how easily the feature can be extracted from inputs. The literature on shortcut learning has noted examples in which models privilege one feature over another, for example texture over shape and image backgrounds over foreground objects. Here, we test hypotheses about which input properties are more available to a model, and systematically study how predictivity and availability interact to shape models' feature use. We construct a minimal, explicit generative framework for synthesizing classification datasets with two latent features that vary in predictivity and in factors we hypothesize to relate to availability, and we quantify a model's shortcut bias -- its over-reliance on the shortcut (more available, less predictive) feature at the expense of the core (less available, more predictive) feature. We find that linear models are relatively unbiased, but introducing a single hidden layer with ReLU or Tanh units yields a bias. Our empirical findings are consistent with a theoretical account based on Neural Tangent Kernels. Finally, we study how models used in practice trade off predictivity and availability in naturalistic datasets, discovering availability manipulations which increase models' degree of shortcut bias. Taken together, these findings suggest that the propensity to learn shortcut features is a fundamental characteristic of deep nonlinear architectures warranting systematic study given its role in shaping how models solve tasks.

研究の動機と目的

• 深層学習モデルが、形状のようなより意味のあるコアな特徴よりも、テクスチャや背景のようなショートカット特徴を好む理由を理解すること。
• 統計的相関を超えて、予測可能性と利用可能性の役割を分離し、定量的に特定すること。
• 潜在特徴の予測可能性と利用可能性を制御できる最小限で明示的な生成フレームワークを構築すること。
• 特に深さと非線形性を含むモデルアーキテクチャがショートカットバイアスに与える影響を調査すること。
• ニューラルタングェントカーネル理論を用いて、ショートカット学習の理論的基盤を提供し、非線形モデルにおけるその必然性を説明すること。

提案手法

• 著者らは、2つの潜在特徴（コア特徴：高予測性、低利用可能性、ショートカット特徴：低予測性、高利用可能性）を有する二値分類データセットを生成する生成モデルを設計した。
• 利用可能性は、(1) データ生成変換の特異値、および (2) 特徴マッピングにおける非線形性の度合いの2要因で定量化された。
• ショートカットバイアス指標は、モデルの特徴依存度が最適なベイズ最適分類器からの逸脱度として定義された。
• 線形モデル、浅いReLU/Tanhネットワーク、および深層アーキテクチャを用いて、予測可能性と利用可能性への感受性をテストした。
• 非線形モデルにおけるショートカットバイアスの発生理由を説明するため、ニューラルタングェントカーネル（NTK）理論に基づく理論的分析が行われた。
• 自然なデータセットを用いた実証的検証は、データ拡張（例：テクスチャや形状の操作）による利用可能性の変更を用いて拡張された。

Figure 1: Synthetic data. A: Two datasets differing in the predictivity of $z_{s}$ . B: Schematic of the embedding procedure manipulating availability via the mapping from $\boldsymbol{z}$ to $\boldsymbol{x}$ . Dashed boxes are optional.

実験結果

リサーチクエスチョン

• RQ1 予測可能性と利用可能性が、深層学習モデルにおける特徴選択にどのように共同で寄与するか？
• RQ2 特徴が同等に予測可能であっても、なぜ非線形モデルが線形モデルよりも強いショートカットバイアスを示すのか？
• RQ3 特異値と非線形性によって定義される利用可能性は、統計的予測性を超えて、異常な特徴選好をどの程度説明できるか？
• RQ4 NTK理論が示唆するように、ショートカットバイアスは非線形アーキテクチャの必然的結果であるのか？
• RQ5 実画像における利用可能性の操作は、モデルの行動をショートカット特徴への偏りに向かって体系的・一貫してシフトさせることができるか？

主な発見

• 線形モデルは最小限のショートカットバイアスを示し、バイアスが学習目的に起因するのではなく、アーキテクチャに起因するインダクティブバイアスに起因することを示唆している。
• 1つの隠れ層（ReLUまたはTanh）を導入するだけで顕著なショートカットバイアスが生じ、深層ネットワークではこの効果がさらに強化される。
• ニューラルタングェントカーネル（NTK）を用いた理論的分析により、非線形アーキテクチャの構造的性質が、無限幅極限におけるNTKの性質に起因し、ショートカットバイアスが非線形モデルにおいて必然的であることが示された。
• ImageNetに類似したデータセットにおける実証的結果は、データ拡張による利用可能性の増加によって、モデルがコアでない特徴に系統的にバイアスを示す可能性があることを確認した。
• テクスチャや背景パターンの強調といった利用可能性の操作は、予測性が一定であっても、顕著にショートカットバイアスを増大させた。
• 本研究では、データ生成プロセスにおける特異値が高く、非線形性が強い特徴が、予測性が低くてもモデルによってより多く利用されやすいことが同定された。

Figure 2: Deep nonlinear models can prefer a less-predictive but more-available feature to a more-predictive but less-available one. The color of each cell in the heatmap indicates the mean bias of a model as a function of the availability and predictivity of the shortcut feature, $z_{s}$ . The inse