[논문 리뷰] On the Foundations of Shortcut Learning

Katherine L. Hermann, Hossein Mobahi외 2명|arXiv (Cornell University)|2023. 10. 24.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 통제된 생성 데이터셋 프레임워크에서 특성의 예측 가능성과 가용성을 체계적으로 조작함으로써 딥 네ural 네트워크에서의 단기 학습의 근본 원인을 조사한다. 비선형 아키텍처는 인덕티브 바이어스로 인해 본질적으로 단기 편향을 보이며, 깊이가 더 깊어질수록 이 효과가 악화됨을 보여주며, 신경 탄성 커널 분석을 통해 이론적 근거를 제시한다. 이는 비선형 학습 시스템에서 단기 학습이 피할 수 없는 성질임을 보여준다.

ABSTRACT

Deep-learning models can extract a rich assortment of features from data. Which features a model uses depends not only on \emph{predictivity} -- how reliably a feature indicates training-set labels -- but also on \emph{availability} -- how easily the feature can be extracted from inputs. The literature on shortcut learning has noted examples in which models privilege one feature over another, for example texture over shape and image backgrounds over foreground objects. Here, we test hypotheses about which input properties are more available to a model, and systematically study how predictivity and availability interact to shape models' feature use. We construct a minimal, explicit generative framework for synthesizing classification datasets with two latent features that vary in predictivity and in factors we hypothesize to relate to availability, and we quantify a model's shortcut bias -- its over-reliance on the shortcut (more available, less predictive) feature at the expense of the core (less available, more predictive) feature. We find that linear models are relatively unbiased, but introducing a single hidden layer with ReLU or Tanh units yields a bias. Our empirical findings are consistent with a theoretical account based on Neural Tangent Kernels. Finally, we study how models used in practice trade off predictivity and availability in naturalistic datasets, discovering availability manipulations which increase models' degree of shortcut bias. Taken together, these findings suggest that the propensity to learn shortcut features is a fundamental characteristic of deep nonlinear architectures warranting systematic study given its role in shaping how models solve tasks.

연구 동기 및 목표

• 딥 러닝 모델이 형태와 같은 더 의미 있는 핵심 특성보다 질감이나 배경과 같은 단기 특성을 왜 선호하는지 이해하는 것.
• 통계적 상관관계를 넘어서 예측 가능성과 가용성의 역할을 분리하고 정량화하는 것.
• 잠재 특성의 예측 가능성과 가용성을 제어할 수 있는 최소한의 명시적 생성 프레임워크를 개발하는 것.
• 특히 깊이와 비선형성에 의해 모델 아키텍처가 단기 편향에 어떻게 影향을 미치는지 조사하는 것.
• 신경 탄성 커널 이론을 활용해 단기 학습에 대한 이론적 기반을 제공하고, 비선형 모델에서 이가 불가피한 이유를 설명하는 것.

제안 방법

• 저자들은 두 개의 잠재 특성(하나의 핵심 특성: 높은 예측 가능성, 낮은 가용성; 하나의 단기 특성: 낮은 예측 가능성, 높은 가용성)을 가진 이진 분류 데이터셋을 생성하는 생성 모델을 설계한다.
• 가용성은 두 가지 요소로 측정된다: (1) 데이터 생성 전환의 특이값, (2) 특성 매핑의 비선형성 정도.
• 단기 편향 지표는 최적의 베이즈 최적 분류기의 특성 의존도에서 모델의 특성 의존도가 벗어난 정도로 정의된다.
• 예측 가능성과 가용성에 대한 민감도를 테스트하기 위해 선형 모델, 얕은 ReLU/Tanh 네트워크, 더 깊은 아키텍처를 사용한다.
• 비선형 모델에서 단기 편향이 나타나는 이유를 설명하기 위해 신경 탄성 커널(NTK) 이론에 기반한 이론적 분석을 수행한다.
• 실증적 검증은 가용성 조작 데이터 증강(예: 질감 대 형상 조작)을 통해 자연주의적 데이터셋으로 확장된다.

Figure 1: Synthetic data. A: Two datasets differing in the predictivity of $z_{s}$ . B: Schematic of the embedding procedure manipulating availability via the mapping from $\boldsymbol{z}$ to $\boldsymbol{x}$ . Dashed boxes are optional.

실험 결과

연구 질문

• RQ1 예측 가능성과 가용성이 딥 러닝 모델의 특성 선택에 어떻게 함께 영향을 미치는가?
• RQ2 특성의 예측 가능성은 동일한 데도 비선형 모델이 선형 모델보다 더 강한 단기 편향을 보이는 이유는 무엇인가?
• RQ3 특이값과 비선형성으로 정의된 가용성이 통계적 예측 가능성 외에 이상한 특성 선호도를 얼마나 설명할 수 있는가?
• RQ4 NTK 이론이 제기하는 바와 같이, 비선형 아키텍처에서는 단기 편향이 피할 수 없는 결과인가?
• RQ5 실제 이미지에서의 가용성 조작이 모델의 행동을 단기 특성 쪽으로나 반대로 시스템적으로 이동시킬 수 있는가?

주요 결과

• 선형 모델은 단기 편향이 거의 없음을 보이며, 이는 편향이 학습 목표에 내재된 것이 아니라 아키텍처의 인덕티브 바이어스에서 기인한다는 것을 시사한다.
• 단일 은닉 레이어의 ReLU나 Tanh를 도입함으로써 심각한 단기 편향이 발생하며, 더 깊은 네트워크에서는 이 효과가 악화된다.
• 신경 탄성 커널(Ntk) 분석을 통한 이론적 분석은 비선형 아키텍처에서 단기 편향이 무한한 너비 근사에서 NTK의 구조로 인해 피할 수 없는 결과임을 보여준다.
• ImageNet 유사 데이터셋에서의 실증 결과는 데이터 증강을 통해 가용성을 높일 경우 모델이 핵심 특성 외의 특성으로 체계적으로 편향됨을 확인한다.
• 가용성 조작(예: 질감 또는 배경 패턴 강화)은 예측 가능성은 그대로 유지되더라도 단기 편향을 크게 증가시킨다.
• 연구는 데이터 생성 과정에서 특이값이 높고 비선형성이 더 큰 특성이 더 잘 이용되며, 이는 예측 가능성은 낮아도 된다는 점을 규명했다.

Figure 2: Deep nonlinear models can prefer a less-predictive but more-available feature to a more-predictive but less-available one. The color of each cell in the heatmap indicates the mean bias of a model as a function of the availability and predictivity of the shortcut feature, $z_{s}$ . The inse