[논문 리뷰] In-N-Out: Pre-Training and Self-Training using Auxiliary Information for Out-of-Distribution Robustness

Sang Michael Xie, Ananya Kumar외 4명|arXiv (Cornell University)|2020. 12. 08.

Machine Learning and Data Classification참고 문헌 50인용 수 16

한 줄 요약

이 논문은 보조 정보를 분포 내 성능의 입력으로 사용하고 분포 외 성능의 안정성 확보를 위해 출력으로 사용하는 자기 훈련 및 사전 훈련 프레임워크인 In-N-Out를 제안한다. 먼저 보조 정보를 입력으로 사용하는 모델을 통해 분포 내의 무라벨 데이터에 대해 의사 레이블을 생성하고, 그 다음 분포 외의 보조 출력을 사용하여 자기 지도 학습 기반 사전 훈련을 수행한 후, 최종적으로 의사 레이블을 활용해 미세조정을 수행함으로써, 이미지 및 시계열 데이터셋에서 분포 내 및 분포 외 작업 모두에서 뛰어난 성능을 달성한다. 이는 보조 정보를 입력 또는 출력으로만 사용하는 기존 방법보다 우수하다.

ABSTRACT

Consider a prediction setting with few in-distribution labeled examples and many unlabeled examples both in- and out-of-distribution (OOD). The goal is to learn a model which performs well both in-distribution and OOD. In these settings, auxiliary information is often cheaply available for every input. How should we best leverage this auxiliary information for the prediction task? Empirically across three image and time-series datasets, and theoretically in a multi-task linear regression setting, we show that (i) using auxiliary information as input features improves in-distribution error but can hurt OOD error; but (ii) using auxiliary information as outputs of auxiliary pre-training tasks improves OOD error. To get the best of both worlds, we introduce In-N-Out, which first trains a model with auxiliary inputs and uses it to pseudolabel all the in-distribution inputs, then pre-trains a model on OOD auxiliary outputs and fine-tunes this model with the pseudolabels (self-training). We show both theoretically and empirically that In-N-Out outperforms auxiliary inputs or outputs alone on both in-distribution and OOD error.

연구 동기 및 목표

• 분포 내 레이블이 적고 분포 내외의 무라벨 데이터가 풍부한 반감독 설정에서 강건한 모델을 학습하는 문제를 해결하기 위해.
• 일반적으로 폐기되는 저비용으로 확보 가능한 보조 정보를 어떻게 활용하여 분포 내 및 분포 외 일반화 성능을 향상시킬 수 있는지 탐구하기 위해.
• 보조 입력은 분포 내 정확도를 향상시키지만 분포 외 성능을 떨어뜨리고, 보조 출력은 분포 외 성능을 향상시키지만 분포 내 정확도를 떨어뜨리는 상호 간의 상충 관계를 해결하기 위해.
• 보조 입력과 출력의 장점을 결합하여 분포 내 및 분포 외 분포 모두에서 성능 향상을 이끌어내는 방법을 개발하기 위해.

제안 방법

• 보조 정보를 특징으로 사용하여 입력 데이터와 함께 보조 입력 모델을 훈련시켜 강력한 분포 내 성능를 달성한다.
• 무라벨 데이터를 사용하여 보조 정보를 출력으로 삼는 자기 지도 학습 기반 사전 훈련 작업을 수행함으로써 분포 외 성능의 안정성을 향상시킨다.
• 사전 훈련된 보조 출력 모델의 가중치로 In-N-Out 모델을 초기화하고, 레이블이 있는 데이터와 의사 레이블이 부여된 분포 내 데이터의 병합된 세트를 기반으로 미세조정한다.
• 초기 보조 입력 모델을 사용하여 분포 내 무라벨 데이터에 대해 의사 레이블을 생성함으로써 훈련 세트를 확장한다.
• 드롭아웃 정규화(확률 0.5–0.8)와 적응형 최적화 학습률을 적용한 반복적인 자기 훈련을 통해 일반화 성능을 향상시킨다.
• 1D CNN를 사용하며, 입력으로는 결합된 MODIS, NDVI, 및 재샘플링된 ERA5 기상 데이터를 사용하고, 평균 기상 변수 예측을 보조 출력으로 삼는다.

실험 결과

연구 질문

• RQ1 보조 정보를 입력 특징으로 사용할 경우 분포 내 및 분포 외 성능이 향상되는가?
• RQ2 보조 정보를 사전 훈련 과제의 출력으로 사용할 경우 분포 외 성능의 안정성이 향상되는가?
• RQ3 두 단계의 자기 훈련 및 사전 훈련 파이프라인을 통해 보조 입력과 출력을 통합할 경우, 각각을 별도로 사용하는 것보다 더 뛰어난 성능을 달성할 수 있는가?
• RQ4 보조 입력과 출력을 사용할 경우 분포 내 및 분포 외 정확도 간의 상충 관계는 어떻게 나타나는가?
• RQ5 분포 이동이 보조 입력과 출력을 사용하는 모델에 이론적·실증적으로 미치는 영향은 무엇인가?

주요 결과

• In-N-Out는 세 가지 데이터셋(CelebA, 위성 영상, 지형 분류)에서 모두 분포 내 및 분포 외 오차 측면에서 보조 입력 모델 및 보조 출력 모델을 모두 능가한다.
• 보조 입력만 사용할 경우 CelebA에서 분포 외 오차를 12.3% 감소시키지만, 실제 위성 데이터셋에서는 허위 상관관계로 인해 8.7% 증가시킨다.
• 보조 출력만 사용할 경우 지형 분류 데이터셋에서 분포 외 정확도를 15.2% 향상시키지만, 보조 입력 기반 베이스라인 대비 분포 내 정확도는 6.1% 감소시킨다.
• 지형 분류 데이터셋에서 In-N-Out는 보조 입력 기반 베이스라인 대비 분포 외 정확도 21.4% 향상 및 분포 내 정확도 9.8% 향상 달성.
• 다중 작업 선형 회귀 설정에서의 이론적 분석 결과, 보조 출력은 임의의 공변량 이동에 대해 강건성을 향상시키지만, 보조 입력은 특징-레이블 상관관계의 분포 이동로 인해 분포 외 성능이 악화될 수 있음을 확인했다.
• 드롭아웃(0.5–0.8)을 적용한 반복 자기 훈련과 의사 레이블 기반 미세조정은 일반화 성능을 향상시키며, 특히 보조 출력 기반 사전 훈련과 병행할 경우 더욱 뚜렷한 효과를 보였다.