[논문 리뷰] Self-training Avoids Using Spurious Features Under Domain Shift

Yining Chen, Colin Wei외 2명|arXiv (Cornell University)|2020. 06. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 40인용 수 5

한 줄 요약

이 논문은 대규모 도메인 이동 상황에서 레이블이 지정되지 않은 타겟 데이터를 사용한 자기학습(self-training)이 원인 분류에서 존재하지만 타겟 도메인에는 존재하지 않는 인과관계가 없는 특징(잡음 특징)을 학습하는 것을 방지할 수 있음을 보여준다. 가우시안 잡음 특징과 로그-볼록 분포에서 유래한 신호 특징을 가진 선형 모델의 경우, 충분히 정확한 소스 분류기로 초기화된 상태에서 비볼록 설정(나쁜 국소 최적점이 존재하는 상황)에서도 자기학습은 잡음 특징에 대해 0의 가중치를 가지는 해로 수렴한다.

ABSTRACT

In unsupervised domain adaptation, existing theory focuses on situations where the source and target domains are close. In practice, conditional entropy minimization and pseudo-labeling work even when the domain shifts are much larger than those analyzed by existing theory. We identify and analyze one particular setting where the domain shift can be large, but these algorithms provably work: certain spurious features correlate with the label in the source domain but are independent of the label in the target. Our analysis considers linear classification where the spurious features are Gaussian and the non-spurious features are a mixture of log-concave distributions. For this setting, we prove that entropy minimization on unlabeled target data will avoid using the spurious feature if initialized with a decently accurate source classifier, even though the objective is non-convex and contains multiple bad local minima using the spurious features. We verify our theory for spurious domain shift tasks on semi-synthetic Celeb-A and MNIST datasets. Our results suggest that practitioners collect and self-train on large, diverse datasets to reduce biases in classifiers even if labeling is impractical.

연구 동기 및 목표

• 자기학습과 엔트로피 최소화가 대규모 도메인 이동 상황에서도 어떻게 작동하는지 이해하는 것.
• 자기학습이 소스 도메인에서는 레이블과 상관관계가 있지만 타겟 도메인에서는 상관관계가 없는 잡음 특징을 학습하는 조건을 분석하는 것.
• 다중 국소 최적점이 존재하는 비볼록 설정에서 자기학습에 대한 이론적 보장을 수립하는 것.
• 레이블이 부족한 상황에서 대규모이고 다양한 레이블이 지정되지 않은 데이터셋이 모델의 편향을 줄이는 데 얼마나 기여하는지 검증하는 것.

제안 방법

• 잡음 특징이 소스 도메인에서는 레이블과 상관관계가 있지만 타겟 도메인에서는 독립적인 구조적 도메인 이동 설정을 수식화하는 것.
• 가우시안 잡음 특징과 로그-볼록 분포의 혼합에서 유래한 신호 특징을 가진 선형 분류를 분석하는 것.
• 엔트로피 최소화 또는 가짜 레이블 기반 자기학습이 두 조건(신호 분포가 잘 분리되어 있고, 초기 소스 분류기가 상당히 정확한 경우)을 만족할 때 잡음 특징에 대해 0의 계수를 가지는 해로 수렴함을 증명하는 것.
• 다층 신경망을 사용한 반-합성적 Celeb-A 및 MNIST 데이터셋에서 결과를 실증적으로 검증하는 것.
• 엔트로피 최소화와 확률적 가짜 레이블 방식(모든 SGD 스텝 후 가짜 레이블을 갱신)을 사용하는 것.
• 신뢰도 임계값 설정과 배치 재표본 추출을 적용하여 실제 자기학습 파이프라인을 시뮬레이션하는 것.

실험 결과

연구 질문

• RQ1 자기학습이 소스 도메인에서는 레이블과 상관관계가 있지만 타겟 도메인에서는 상관관계가 없는 잡음 특징을 학습하는 것을 피할 수 있는 조건는 무엇인가요?
• RQ2 대규모 도메인 이동과 비볼록 손실 곡면이 존재하는 상황에서 엔트로피 최소화 또는 가짜 레이블 기반 자기학습이 베이즈 최적 해로 수렴할 수 있는가요?
• RQ3 소스 분류기로 초기화하는 것이 최종 모델이 잡음 특징에 얼마나 의존하는지에 영향을 주는가요?
• RQ4 레이블이 없을 경우 대규모이고 다양한 레이블이 지정되지 않은 데이터셋이 모델의 편향을 어느 정도 줄이는 데 기여하는가요?

주요 결과

• 충분히 정확한 소스 분류기로 초기화된 상태에서, 레이블이 지정되지 않은 타겟 데이터를 사용한 자기학습은 잡음 특징에 대해 0의 가중치를 가지는 해로 수렴한다.
• 일변량 가우시안 신호 설정에서는 자기학습이 베이즈 최적 해로 수렴한다.
• 성별-머리카락 색상 간의 잡음 상관관계가 존재하는 반-합성적 Celeb-A 데이터셋에서 타겟 정확도가 81%에서 88%로 상승하였다.
• 가우시안 혼합 실험에서 엔트로피 최소화와 가짜 레이블 기반 자기학습 모두 타겟 정확도를 95.9%에서 97.5%로 향상시키고, 잡음 특징의 가중치를 0.33에서 0으로 감소시켰다.
• 손실 곡면이 비볼록이고 나쁜 국소 최적점(잡음 특징을 악용하는)이 존재하는 상황에서도 이론적 보장이 유지된다.
• 실증 결과에 따르면 더 자주 가짜 레이블을 갱신하는 것이(예: 30라운드, 10에포크) 적은 라운드 수이지만 더 오랜 훈련 시간을 가지는 것보다 성능이 뛰어나며, 이는 엔트로피 최소화의 행동과 일치한다.