[논문 리뷰] How Robust is Unsupervised Representation Learning to Distribution Shift?

Yuge Shi, Imant Daunhawer외 3명|arXiv (Cornell University)|2022. 06. 17.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 분포 이탈 상황에서 비지도 표현 학습(SSL 및 오토에인코드어)과 지도 학습(SL) 간의 내성에 대해 조사한다. 통제 가능한 합성 및 현실적인 도메인 일반화 데이터셋을 사용하여, 극단적이고 미세한 분포 이탈 상황에서 SSL 및 오토에인코드어 표현이 지도 학습보다 훨씬 더 잘 일반화됨을 보여주며, 특히 표현 내성의 영향을 분리하기 위해 외부 분포(OOD) 데이터로 훈련된 선형 헤드를 사용한 평가에서 두드러진다.

ABSTRACT

The robustness of machine learning algorithms to distributions shift is primarily discussed in the context of supervised learning (SL). As such, there is a lack of insight on the robustness of the representations learned from unsupervised methods, such as self-supervised learning (SSL) and auto-encoder based algorithms (AE), to distribution shift. We posit that the input-driven objectives of unsupervised algorithms lead to representations that are more robust to distribution shift than the target-driven objective of SL. We verify this by extensively evaluating the performance of SSL and AE on both synthetic and realistic distribution shift datasets. Following observations that the linear layer used for classification itself can be susceptible to spurious correlations, we evaluate the representations using a linear head trained on a small amount of out-of-distribution (OOD) data, to isolate the robustness of the learned representations from that of the linear head. We also develop "controllable" versions of existing realistic domain generalisation datasets with adjustable degrees of distribution shifts. This allows us to study the robustness of different learning algorithms under versatile yet realistic distribution shift conditions. Our experiments show that representations learned from unsupervised learning algorithms generalise better than SL under a wide variety of extreme as well as realistic distribution shifts.

연구 동기 및 목표

• 실제 세계의 머신러닝 배포에서의 핵심 과제인 분포 이탈에 대한 비지도 표현 학습(SSL 및 오토에인코드어)의 내성에 대해 조사하기 위해.
• 현재 지도 학습 연구가 지배하고 있는 분포 이탈 상황에서 비지도 방법의 체계적 평가가 부족한 점을 해결하기 위해.
• 선형 분류 헤드의 편향이 성능 비교에 영향을 미칠 수 있으므로, 학습된 표현의 내성과 헤드의 특수한 편향을 분리하기 위해.
• 더 세밀한 평가를 위해 조절 가능한 분포 이탈 강도를 가진 현실적인 도메인 일반화 데이터셋을 개발하기 위해.
• 입력 기반 비지도 목적이 타겟 기반 지도 학습 목표보다 분포 이탈 상황에서 더 내성적인 표현을 만들어내는 경험적 증거를 제공하기 위해.

제안 방법

• 실제 도메인 일반화 데이터셋(WILDS-Camelyon17 및 FMoW)의 조절 가능한 버전을 설계하고 구현하여, 상관관계 기반 이탈 강도 파라미터 $ r_{\text{id}} $ 를 통해 분포 이탈 강도를 조절하였다.
• 외부 분포(OOD) 데이터로 소량의 데이터로 훈련된 선형 헤드를 사용하여 SSL(SimCLR, MoCo 등) 및 오토에인코드어(AE) 모델을 평가함으로써, 표현 내성과 헤드 특유의 편향 간의 영향을 분리하였다.
• 극단적이고 미세한 분포 이탈 상황에서 성능을 평가하기 위해 합성 데이터셋(MNIST-CIFAR, CdSprites 등)과 현실적인 데이터셋(WILDS 등)에서 광범위한 실험을 수행하였다.
• 모델 간 공정한 비교를 위해 OOD 데이터로 훈련된 헤드를 사용한 선형 프로브 평가 프로토콜을 사용하여, 헤드 특유의 임의의 상관관계가 성능 평가에 영향을 주는 것을 방지하였다.
• 모델 성능은 OOD 테스트 세트에서의 정확도와 다양한 이탈 수준에서의 성능 변화(이탈 민감도)로 측정하였으며, 여러 이탈 강도 수준에서 결과를 보고하였다.
• 제어된 및 현실적인 분포 이탈 조건 하에서 SSL, AE, SL 모델을 다양한 지표(내부 분포(ID) 정확도, OOD 정확도, 이탈에 대한 내성)로 비교하였다.

실험 결과

연구 질문

• RQ1 극도의 분포 이탈 상황에서 SSL 및 오토에인코드어 표현은 지도 표현보다 OOD 일반화 성능에서 어떻게 비교되는가?
• RQ2 선형 분류 헤드가 분포 이탈 설정에서 성능 평가에 왜곡을 일으키는 임의의 상관관계를 얼마나 많이 유도하는가?
• RQ3 조절 가능한 현실적인 도메인 일반화 데이터셋을 통해 이탈 강도를 조절할 수 있다면, 표현 내성 평가가 향상되는가?
• RQ4 실제 세계 상황에서 다양한 정도의 분포 이탈에 대해 SSL 및 AE 표현의 내성은 SL 표현보다 어떻게 비교되는가?
• RQ5 비지도 학습의 입력 기반 목적이 지도 학습의 타겟 기반 목표보다 분포 이탈 상황에서 더 내성적인 표현을 만들어내는가?

주요 결과

• 모든 테스트된 분포 이탈 설정에서, SSL 표현은 지도 학습과 동일하거나 더 높은 OOD 정확도를 달성하였다. 이는 극단적인 합성 이탈과 현실적인 도메인 이탈 모두에 해당된다.
• WILDS-Camelyon17 데이터셋에서 SSL 모델은 SL 대비 OOD 정확도에서 3% 향상되었으며, FMoW에서는 5%의 우월성을 보였다. 이는 현실적인 이탈 상황에서의 일관된 승리임을 시사한다.
• OOD 데이터로 훈련된 선형 헤드가 표현 내성의 영향을 효과적으로 분리함을 보여주었으며, 이는 SSL 및 AE 표현이 SL 표현보다 본질적으로 더 내성적임을 드러냈다.
• SSL 모델은 다양한 분포 이탈 강도 수준에서 가장 낮은 이탈 민감도를 보였으며, 이는 이탈 강도가 증가함에 따라 안정적인 성능을 유지함을 의미한다.
• 실제 데이터셋에서 오토에인코드어 기반 모델은 분포 이탈에 가장 민감도가 낮았지만, FMoW와 같은 복잡한 데이터에서는 낮은 OOD 성능를 보였으며, 이는 안정성과 표현 능력 사이의 상충관계를 시사한다.
• 이 연구는 분포 이탈 평가에서 선형 헤드 편향의 존재를 확인하였으며, 기존 평가 프로토콜이 모델의 내성에 대해 잘못된 인식을 줄 수 있음을 보여주었고, 향후 비교에서는 OOD로 훈련된 선형 헤드를 권장한다.