[논문 리뷰] Improving out-of-distribution generalization via multi-task self-supervised pretraining

Isabela Albuquerque, Nikhil Naik외 3명|arXiv (Cornell University)|2020. 03. 30.

Domain Adaptation and Few-Shot Learning참고 문헌 41인용 수 27

한 줄 요약

이 논문은 컴퓨터 비전에서 분포 외 일반화(OOD) 성능을 향상시키기 위해 새로운 사전과제(task)를 포함한 다중 과제 자기지도 학습(SSL)을 제안한다. 특히, 가보 필터 벙크 응답 예측을 새로운 사전과제로 도입하고, 기존의 회전 예측 및 대비 학습과 결합하여 성능을 향상시킨다. 이 방법은 특히 큰 분포 이동이 발생할 경우에도 지도 학습 전훈보다 뛰어난 도메인 일반화 성능을 보이며, 기존의 도메인 일반화 기법(예: 불변 위험 최소화, IRM)과 조합하여 성능을 추가로 향상시킬 수 있다.

ABSTRACT

Self-supervised feature representations have been shown to be useful for supervised classification, few-shot learning, and adversarial robustness. We show that features obtained using self-supervised learning are comparable to, or better than, supervised learning for domain generalization in computer vision. We introduce a new self-supervised pretext task of predicting responses to Gabor filter banks and demonstrate that multi-task learning of compatible pretext tasks improves domain generalization performance as compared to training individual tasks alone. Features learnt through self-supervision obtain better generalization to unseen domains when compared to their supervised counterpart when there is a larger domain shift between training and test distributions and even show better localization ability for objects of interest. Self-supervised feature representations can also be combined with other domain generalization methods to further boost performance.

연구 동기 및 목표

• 학습 데이터 분포와 다를 경우 모델이 실패하는 분포 외 일반화(OOD) 문제를 해결하기 위해 컴퓨터 비전에서의 도메인 일반화 성능을 향상시키는 것.
• 자기지도 학습 특징 표현이 도메인 일반화에 있어 지도 학습 전훈 성능을 따라하거나 초월할 수 있는지 조사하는 것.
• 유사한 사전과제를 활용한 다중 과제 자기지도 학습이 도메인 이동에 대한 강건성 향상에 기여하는지 평가하는 것.
• 자기지도 표현이 기존의 도메인 일반화 기법(예: 불변 위험 최소화, IRM)과 호환되어 OOD 성능을 추가로 향상시킬 수 있는지 탐색하는 것.

제안 방법

• 저자들은 도메인 일반화에 유용한 질감 및 에지 정보를 캡처할 수 있는 가보 필터 벙크 응답 예측을 새로운 자기지도 사전과제로 도입한다.
• 이 사전과제를 기존의 표준 SSL 사전과제(예: 회전 예측 및 대비 학습, MoCo 방식 등)와 결합하여 다중 과제 학습 설정을 구성한다.
• 다중 과제 SSL 프레임워크는 여러 사전과제를 동시에 사용하여 레이블이 없는 데이터에서 공유된 특징 인코더를 훈련시키며, 이는 분리된, 도메인 불변 특징 표현 학습을 장려한다.
• 모든 과제에 대해 단일 인코더 헤드를 사용하며, 모든 사전과제 목표에 대해 역전파를 통해 공유 특징을 동시에 업데이트한다.
• 학습된 자기지도 특징 표현은 표준 경험 리스크 최소화(ERM)를 사용하여 피나이팅(fine-tuning)되거나, IRM과 결합되어 도메인 일반화에 활용된다.
• 실험은 PACS 및 VLCS 벤치마크에서 수행되었으며, OOD 일반화 성능 측정을 위해 보류된 도메인에서 평가가 이루어졌다.

실험 결과

연구 질문

• RQ1 표준 벤치마크에서 지도 학습 전훈에 비해 다중 과제 자기지도 학습이 분포 외 일반화 성능을 향상시킬 수 있는가?
• RQ2 제안된 가보 필터 벙크 사전과제가 특히 큰 도메인 이동 상황에서 도메인 일반화에 기여하는가?
• RQ3 기존의 도메인 일반화 기법(예: IRM)과 효과적으로 조합될 수 있는 자기지도 표현은 분포 외 성능 향상에 기여하는가?
• RQ4 자기지도 특징 표현은 자원이 제한된 분포 외 도메인에서 피나이팅될 경우 지도 학습 특징 표현에 비해 성능이 뛰어나게 되는가?

주요 결과

• PACS 벤치마크에서 다중 과제 사전과제(R+G+DC)를 사용한 자기지도 학습은 OOD 일반화 평균 정확도 65.86%를 기록했으며, ERM 기반 지도 학습 베이스라인(60.44%)을 능가했다.
• VLCS 벤치마크에서 자기지도 특징는 IRM을 사용할 경우 평균 정확도 68.46%를 기록했으며, 지도 학습 전훈 기반 결과(67.76%)보다 일관되게 향상된 성능을 보였다.
• PACS의 Sketch 도메인에서 자기지도 학습은 IRM을 사용해 62.66%의 정확도를 달성했으며, 지도 학습 베이스라인(46.50%)에 비해 뚜렷한 승리를 거두었다.
• VLCS의 Caltech101 도메인에서 자기지도 특징는 IRM 기반으로 87.74%의 정확도를 기록했으며, 지도 학습 특징와 동일한 성능(87.74%)을 보였지만, 이 경우 개선 폭은 미미했다.
• 자기지도 특징는 특히 ImageNet에서의 도메인 이동이 뚜렷한 Sketch 및 LabelMe 도메인에서 관심 있는 객체의 국소화 능력이 뛰어났다.
• 다중 과제 SSL과 IRM의 조합은 모든 타겟 도메인에서 가장 높은 성능을 기록했으며, 자기지도 학습과 도메인 일반화 최적화 간 상호보완적 이점이 있음을 시사한다.