[논문 리뷰] A Theory of Label Propagation for Subpopulation Shift

Tianle Cai, Ruiqi Gao외 2명|arXiv (Cornell University)|2021. 02. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 76인용 수 4

한 줄 요약

이 논문은 하위집단 이동 상황에서 도메인 적응을 위한 레이블 전파 프레임워크를 제안하며, 교사 분류기와 소스 및 타겟 도메인의 미분류 데이터에 대한 일관성 정규화를 활용한다. 전개 가정을 도입하고 일관성 손실을 최적화함으로써 일반화 성능을 향상시키고 유한 샘플 보장을 증명할 수 있으며, 실험에서 소스 및 타겟 도메인 양쪽에서 교사 모델을 능가하는 성능을 달성한다.

ABSTRACT

One of the central problems in machine learning is domain adaptation. Unlike past theoretical work, we consider a new model for subpopulation shift in the input or representation space. In this work, we propose a provably effective framework for domain adaptation based on label propagation. In our analysis, we use a simple but realistic expansion assumption, proposed in \citet{wei2021theoretical}. Using a teacher classifier trained on the source domain, our algorithm not only propagates to the target domain but also improves upon the teacher. By leveraging existing generalization bounds, we also obtain end-to-end finite-sample guarantees on the entire algorithm. In addition, we extend our theoretical framework to a more general setting of source-to-target transfer based on a third unlabeled dataset, which can be easily applied in various learning scenarios. Inspired by our theory, we adapt consistency-based semi-supervised learning methods to domain adaptation settings and gain significant improvements.

연구 동기 및 목표

• 소스 도메인에서 타겟 도메인의 하위집단이 완전히 커버되지 않은 하위집단 이동 상황에서 도메인 적응을 해결하기 위해.
• 소스에서 타겟 도메인으로의 효과적인 레이블 전파를 가능하게 하는 이론적으로 탄탄한 프레임워크를 개발하기 위해.
• 하위집단 이동 설정에서 신경망의 엔드 투 엔드 유한 샘플 일반화 보장을 제공하기 위해.
• 더 높은 강건성 향상을 위해 제3의 미분류 데이터셋을 활용한 전이 학습으로 프레임워크를 확장하기 위해.

제안 방법

• 소스 도메인에서 훈련된 교사 분류기를 사용하여 타겟 도메인에서 성능이 낮더라도 지도 신호를 제공한다.
• 소스 및 타겟 도메인 양쪽의 국소 하위집단에서 예측 일관성을 강제하기 위해 이웃 기반의 일관성 정규화 항을 도입한다.
• 레이블 정보가 하위집단 간 전파될 수 있도록 보장하는 현실적인 '확장' 가정(Wei 등, 2021)에 기반한다.
• 소스 데이터에서 교사의 예측과 양 도메인의 미분류 데이터에 대한 일관성 손실을 조합한 0-1 일관성 손실을 결합한다.
• 더 일반적인 소스에서 타겟으로의 전이를 위해 제3의 미분류 데이터셋을 포함하는 세 데이터셋 설정으로 확장한다.
• 실험적 검증은 Office-31 및 Office-Home에서 성능 향상을 위해 FixMatch, 분포 정렬 및 혼합 정밀도 훈련을 사용한다.

실험 결과

연구 질문

• RQ1 소스 도메인의 레이블 정보를 타겟 도메인의 하위집단 이동 상황에서 오직 미분류 데이터만을 사용해 효과적으로 전파할 수 있는가?
• RQ2 어떤 가정 하에서 일관성 정규화가 소스 및 타겟 도메인 양쪽에서 성능 향상에 기여할 수 있는가?
• RQ3 하위집단 이동 상황에서 신경망에 대한 유한 샘플 일반화 경계를 어떻게 유도할 수 있는가?
• RQ4 더 높은 전이 가능성 향상을 위해 제3의 미분류 데이터셋을 포함하는 설정으로 프레임워크를 확장할 수 있는가?

주요 결과

• FixMatch에 분포 정렬을 적용한 결과, 타겟 도메인에서 테스트 정확도가 68.5%에서 72.6%로 향상되어 72.6%를 기록했다.
• 일관성 정규화와 교사의 지도 신호를 조합함으로써 프레임워크는 증명 가능한 유한 샘플 일반화 보장을 제공한다.
• 이론적 분석은 교사가 타겟에서 실패하더라도 레이블 전파가 소스 및 타겟 도메인 양쪽에서 성능 향상에 기여함을 보여준다.
• 확장 가정은 지원 외부 하위집단으로의 효과적인 전이를 가능하게 하여 전통적인 분포 매칭의 한계를 극복한다.
• 실험 결과는 일관성 기반 준지도 학습을 도메인 적응에 적응시킬 경우, 특히 하위집단 이동 상황에서 뚜렷한 성능 향상이 이루어짐을 보여준다.
• 특히 제한된 레이블 데이터가 존재하는 하위집단 이동 상황에서 DANN 및 MDD와 같은 기준 도메인 적응 모델보다 성능이 뛰어나다.