[논문 리뷰] Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation

Bo Li, Yezhen Wang외 5명|arXiv (Cornell University)|2020. 10. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 54인용 수 11

한 줄 요약

이 논문은 표적 도메인 일반화를 향상시키기 위해 불변 표현과 불변 위험을 동시에 학습하는 새로운 준지도 학습 도메인 적응 방법인 LIRR를 제안한다. 근본적인 표본 일반화 경계를 도출하여 근연 분포 및 조건부 분포 이탈을 모두 고려함으로써, 특히 표적 데이터의 레이블이 제한적인 경우 최신 기법들을 능가하는 성능을 보이며, 표현과 위험의 불변성 동시 최적화가 우수한 성능을 낳음을 입증한다.

ABSTRACT

The success of supervised learning hinges on the assumption that the training and test data come from the same underlying distribution, which is often not valid in practice due to potential distribution shift. In light of this, most existing methods for unsupervised domain adaptation focus on achieving domain-invariant representations and small source domain error. However, recent works have shown that this is not sufficient to guarantee good generalization on the target domain, and in fact, is provably detrimental under label distribution shift. Furthermore, in many real-world applications it is often feasible to obtain a small amount of labeled data from the target domain and use them to facilitate model training with source data. Inspired by the above observations, in this paper we propose the first method that aims to simultaneously learn invariant representations and risks under the setting of semi-supervised domain adaptation (Semi-DA). First, we provide a finite sample bound for both classification and regression problems under Semi-DA. The bound suggests a principled way to obtain target generalization, i.e. by aligning both the marginal and conditional distributions across domains in feature space. Motivated by this, we then introduce the LIRR algorithm for jointly extbf{L}earning extbf{I}nvariant extbf{R}epresentations and extbf{R}isks. Finally, extensive experiments are conducted on both classification and regression tasks, which demonstrates LIRR consistently achieves state-of-the-art performance and significant improvements compared with the methods that only learn invariant representations or invariant risks.

연구 동기 및 목표

• 레이블 분포 이탈 하에서 작동하지 않는, 불변 표현이나 위험만을 학습하는 비지도 학습 도메인 적응 방법의 한계를 해결한다.
• 소량의 레이블이 있는 표적 데이터에 접근 가능한 더 현실적인 준지도 학습 도메인 적응(Semi-DA) 설정을 제안한다.
• 준지도 학습 도메인 적응 설정에서 분류 및 회귀에 대한 유한 표본 일반화 경계를 제공하며, 표적 성능의 핵심 요인으로 근연 및 조건부 분포 불일치를 규명한다.
• 표현과 위험의 둘 다에 대한 불변성을 동시에 최소화하는 LIRR(Learning Invariant Representations and Risks)라는 체계적인 알고리즘을 개발하여 표적 도메인 정확도 불일치를 감소시킨다.
• 광범위한 실험을 통해 불변 표현과 위험을 동시에 학습하는 것이 오직 하나의 목표만 최적화하는 방법보다 뛰어난 성능을 낼 수 있음을 입증한다.

제안 방법

• 준지도 학습 도메인 적응 설정에서 분류(정리 4.1) 및 회귀(정리 4.2)에 대한 유한 표본 일반화 경계를 유도하여, 표적 오차가 근연 및 조건부 분포 불일치의 영향을 받음을 보여준다.
• 경계의 정보 이론적 해석을 도입하여 경계 최소화 알고리즘 설계를 안내한다.
• LIRR(Learning Invariant Representations and Risks)를 제안하며, 특징의 근연 분포 및 조건부 레이블 분포 양쪽에서 도메인 이탈을 최소화하는 공동 최적화 프레임워크를 구축한다.
• 대응 학습 목표를 활용해 도메인 간 표현을 정렬하고, 위험 불변 정규화 항을 통해 최적 예측기 간 정렬을 수행한다.
• LIRR와 통합된 코스인 분류기(CosC) 모듈을 도입하여, 특히 소량의 레이블이 있는 표적 시나리오에서 성능을 추가로 향상시킨다.
• 레이블이 있는 소스 데이터, 소량의 레이블이 있는 표적 데이터, 레이블이 없는 표적 데이터를 사용하여 경사 기반 최적화로 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 근연 및 조건부 분포 이탈을 모두 고려한 준지도 학습 도메인 적응에 대한 유한 표본 일반화 경계를 도출할 수 있는가?
• RQ2 오직 하나의 목표만 최적화하는 것보다 불변 표현과 불변 위험을 동시에 학습함으로써 표적 도메인 일반화 성능을 향상시킬 수 있는가?
• RQ3 레이블이 있는 표적 데이터의 비율이 LIRR와 다른 방법 간의 성능 격차에 어떤 영향을 미치는가?
• RQ4 LIRR와 코스인 분류기(CosC)를 조합하면 준지도 학습 도메인 적응 작업의 성능이 더욱 향상되는가?
• RQ5 분류 및 회귀 설정 모두에서 기존의 SOTA 기법들(오직 불변 표현 또는 불변 위험에만 집중)을 LIRR가 능가할 수 있는가?

주요 결과

• LIRR는 다양한 데이터셋에서 이미지 분류 벤치마크에서 최신 기법들을 능가하는 SOTA 성능을 달성하며, 오직 불변 표현이나 위험만을 학습하는 방법보다 뛰어난 성능을 보였다.
• 교통 카운팅 회귀 작업에서는 1% 및 5%의 레이블이 있는 표적 데이터에서 가장 낮은 평균 절대 오차(MAE)를 기록하여 일관된 슈퍼리어리티를 입증했다.
• 25% 또는 30%의 레이블이 있는 표적 데이터에서 LIRR 및 그 변형인 LIRR+CosC는 완전히 레이블이 있는 표적 데이터로 훈련된 오라클 모델조차도 능가했다.
• 절단 실험 결과, 오직 하나의 불변 목표(예: 표현 또는 위험)만 최적화하는 것은 둘 다 공동으로 학습하는 것보다 열악한 성능을 보이며, 이는 이론적 설계의 타당성을 검증한다.
• Grad-CAM 시각화 결과, LIRR는 눈과 잔디 같은 도메인 간 공통적인 특징(예: 말의 형태)에 주의를 기울이는 불변 특징을 학습하고 있음을 확인했다. 이는 강력한 특징 학습 능력을 의미한다.
• LIRR에 코스인 분류기(CosC)를 통합하면 LIRR 단독 사용보다 더 큰 성능 향상을 기록했으며, 특히 데이터가 적은 환경에서 두드러졌다.