[논문 리뷰] Visual Representation Learning Does Not Generalize Strongly Within the Same Domain

Lukas Schott, Julius von Kügelgen외 7명|arXiv (Cornell University)|2021. 07. 17.

Generative Adversarial Networks and Image Synthesis인용 수 8

한 줄 요약

이 논문은 동일 도메인 내에서 동일한 요인 변화의 분포 외(Out-of-Distribution, OOD) 변형으로 일반화할 수 있는가를 조사한다. 통제된 데이터셋(dSprites, Shapes3D, MPI3D, 및 새로운 CelebGlow 데이터셋)을 사용하여, 17개의 표현 학습 방법을 조합, 보간, 외삽 기준에서 평가한다. 주요 발견은 모든 모델이 진정한 생성 메커니즘을 학습하지 못하며, 내부 도메인 내에서도 일반화 성능이 열악하다는 것이다. 이는 강력한 내분포 성능에도 불구하고 그렇다.

ABSTRACT

An important component for generalization in machine learning is to uncover underlying latent factors of variation as well as the mechanism through which each factor acts in the world. In this paper, we test whether 17 unsupervised, weakly supervised, and fully supervised representation learning approaches correctly infer the generative factors of variation in simple datasets (dSprites, Shapes3D, MPI3D) from controlled environments, and on our contributed CelebGlow dataset. In contrast to prior robustness work that introduces novel factors of variation during test time, such as blur or other (un)structured noise, we here recompose, interpolate, or extrapolate only existing factors of variation from the training data set (e.g., small and medium-sized objects during training and large objects during testing). Models that learn the correct mechanism should be able to generalize to this benchmark. In total, we train and test 2000+ models and observe that all of them struggle to learn the underlying mechanism regardless of supervision signal and architectural bias. Moreover, the generalization capabilities of all tested models drop significantly as we move from artificial datasets towards more realistic real-world datasets. Despite their inability to identify the correct mechanism, the models are quite modular as their ability to infer other in-distribution factors remains fairly stable, providing only a single factor is out-of-distribution. These results point to an important yet understudied problem of learning mechanistic models of observations that can facilitate generalization.

연구 동기 및 목표

• 표현 학습 모델이 동일 도메인 내 동일한 요인 변화의 OOD 변형으로 일반화할 수 있는지 평가하는 것.
• 모델이 진정한 생성 메커니즘을 학습하는지, 아니면 허위 통계적 상관관계에 의존하는지 조사하는 것.
• 감독 신호 유형(무감독, 약한 감독, 완전 감독)과 아키텍처가 내분포 일반화에 미치는 영향을 평가하는 것.
• 실제 얼굴 요소(예: 나이, 미소, 헤어 컬러 등)를 갖춘 새로운 벤치마크 데이터셋인 CelebGlow를 제안하여 기계적 일반화를 평가하는 것.
• 표준화된 벤치마크를 제공하고 평가 스크립트와 랭킹을 함께 제공하여 향후 기계적 표현 학습 연구를 이끄는 것.

제안 방법

• 저자들은 요인 변화(예: 크기, 모양, 색상)가 독립적으로 제어 가능한 통제된 데이터셋을 사용하여, 체계적인 OOD 테스트 분할(조합, 보간, 외삽)을 설계한다.
• VAE, GAN, MLP, CNN, ResNet, CoordConv 및 공간 변환기와 같은 특수 아키텍처를 포함한 17개의 표현 학습 접근법을 기반으로 2000개 이상의 모델을 훈련하고 평가한다.
• R² 점수를 사용하여 OOD 조건 하에서 분리 가능한 요인을 얼마나 잘 예측하는지 측정하며, 높은 점수는 더 나은 OOD 일반화를 의미한다.
• pretrained된 Glow 모델의 잠재적 이동을 사용하여 Celeb-HQ 데이터셋에서 새로운 데이터셋인 CelebGlow를 구축하여 현실적인 얼굴 특성 변화를 가능하게 한다.
• 모든 가능한 요인 조합을 포함하며, GitHub에 평가 스크립트와 랭킹을 함께 제공하여 재현성과 공동체 비교를 가능하게 한다.

실험 결과

연구 질문

• RQ1 표현 학습 모델은 동일 도메인 내 동일한 요인 변화의 OOD 조합으로 일반화할 수 있는가?
• RQ2 다른 감독 신호(무감독, 약한 감독, 완전 감독)로 훈련된 모델은 진정한 생성 메커니즘을 학습하는가, 아니면 허위 상관관계에 의존하는가?
• RQ3 인위적 데이터셋에서 더 현실적인 실세계 데이터셋으로 이동할 때 모델의 일반화 성능가 어떻게 떨어지는가?
• RQ4 한 요인이 OOD일 때, 예측이 얼마나 모odu lar하게 유지되는가?
• RQ5 예를 들어, 동치성 또는 좌표 기반 특징 등의 아키텍처 인덕티브 비이즈가 내분포 일반화에 기여하는가?

주요 결과

• 모든 테스트된 모델은 감독 신호 유형이나 아키텍처에 관계없이 OOD 요인 조합에 대해 일반화 성능이 열악하며, 조합, 보간, 외삽 작업에서 R² 점수가 크게 하락한다.
• dSprites 데이터셋에서 최고 성능을 낸 모델(ResNet101)은 외삽에서 67.8±1.7 R²에 그치며, 새로운 요인 값 예측 능력이 제한됨을 시사한다.
• 더 현실적인 CelebGlow 데이터셋에서는 최고 성능 모델인 ResNet101(ImageNet-21k)도 외삽에서 41.6±8.5 R²에 머물러 내분포 성능에 비해 급격한 성능 저하를 보였다.
• 모델은 강한 모듈성(모듈러리티)를 보인다: 한 요소만 OOD일 경우, 내분포 요소에 대한 예측은 정확하게 유지되며, 고립된 분포 이동에 대한 저항력을 보인다.
• 인위적 데이터셋(dSprites 등)과 실세계 데이터셋(CelebGlow 등) 간의 성능 격차는 크며, 복잡하고 현실적인 데이터에서 모델의 실패가 더욱 심각하다.
• 최첨단 모델들인 Rotation-EQ-big와 공간 변환기 모델조차도 외삽 능력이 제한적이며, 대부분의 벤치마크에서 R² 점수가 70 이하에 머물러 기계적 학습 능력에 근본적인 한계가 있음을 시사한다.