[논문 리뷰] Unsupervised Domain Adaptation through Self-Supervision

Yu Sun, Eric Tzeng외 2명|arXiv (Cornell University)|2019. 09. 26.

Domain Adaptation and Few-Shot Learning참고 문헌 64인용 수 168

한 줄 요약

이 논문은 주된 작업과 다수의 자체 지도 보조 작업을 양쪽 도메인에서 함께 학습시켜 소스-타깃 도메인을 정렬하고, 적대적 미니맥스 최적화를 피하며 여러 벤치마크에서 최첨단 결과를 달성한다.

ABSTRACT

This paper addresses unsupervised domain adaptation, the setting where labeled training data is available on a source domain, but the goal is to have good performance on a target domain with only unlabeled data. Like much of previous work, we seek to align the learned representations of the source and target domains while preserving discriminability. The way we accomplish alignment is by learning to perform auxiliary self-supervised task(s) on both domains simultaneously. Each self-supervised task brings the two domains closer together along the direction relevant to that task. Training this jointly with the main task classifier on the source domain is shown to successfully generalize to the unlabeled target domain. The presented objective is straightforward to implement and easy to optimize. We achieve state-of-the-art results on four out of seven standard benchmarks, and competitive results on segmentation adaptation. We also demonstrate that our method composes well with another popular pixel-level adaptation method.

연구 동기 및 목표

• 레이블된 데이터가 소스 도메인에만 존재하고 비레이블 데이터가 타깃 도메인에 존재하는 무감독 도메인 적응을 동기 부여한다.
• 소스의 판별력을 유지하면서 표현을 정렬하기 위해 두 도메인에서 함께 학습되는 자체 지도 작업을 제안한다.
• 적대적/불일치 미니맥스 최적화를 피하는 간단하고 안정적인 학습 목표를 개발한다.
• 자체 지도 작업의 결합이 강력한 성능을 낳고 픽셀 수준의 적응 방법을 보완할 수 있음을 보인다.

제안 방법

• 데이터에서 라벨을 생성하는 회전, 반전, 위치 등 K개의 자체 지도 보조 작업을 도입하고 이를 주된 감독 작업과 함께 학습한다.
• 공유 인코더 φ를 사용하고 각 자체 지도 작업 및 주 작업에 대해 작업별 헤드 hk를 두어 h0에 대해 L0와 φ를, i=1..K에 대해 hi와 φ를 최적화한다.
• 목표를 다중 작업 학습 문제로 형식화한다: 최소화 L0(S;φ,h0) + 합계 k=1..K Lk(S,T;φ,hk), 여기서 Sk는 라벨이 있는 소스 샘플이고 Tk는 자체 지도 변환을 통해 증강된 소스/타깃의 라벨이 없는 샘플이다.
• 소스와 타깃 데이터로부터 자체 지도 라벨을 생성하여 각 작업과 관련된 방향(회전, 위치, 반전)에서의 정렬을 보장한다.
• 하이퍼파라미터 튜닝과 조기 종료를 위한 간단한 휴리스틱을 제안하고, 타깃 라벨 없이도 φ의 평균 특징 공간 도메인 불일치 D(S′,T′;φ)와 소스 검증 세트의 주 작업 오차를 이용해 훈련을 안내한다.

실험 결과

연구 질문

• RQ1 소스와 타깃 도메인에서 함께 학습된 자체 지도 작업이 표현을 충분히 정렬하여 타깃 도메인에서 타깃 라벨 없이도 좋은 성능을 가능하게 할 수 있는가?
• RQ2 다양한 응용 도메인에 대해 어떤 자체 지도 작업(예: 회전, 위치, 반전)이 도메인 정렬을 가장 잘 촉진하는가?
• RQ3 무감독 도메인 적응에서 적대적/미니맥스 최적화를 피하면서도 경쟁력 있는 결과를 얻을 수 있는가?
• RQ4 라벨이 있는 타깃 데이터가 없을 때 하이퍼파라미터 튜닝과 조기 종료를 어떻게 효과적으로 수행할 수 있는가?
• RQ5 제안된 자체 지도 접근법이 픽셀 수준의 도메인 적응 방법을 보완할 수 있는가?

주요 결과

• 표준 객체 인식 도메인 적응 벤치마크 7개 중 4개에서 최첨단 결과를 달성하고 세그먼테이션 적응에서도 경쟁력 있는 성능을 보인다.
• 양 도메인에 대한 공동 자체 지도 학습이 표현을 정렬하고 소스에서 학습된 분류기가 타깃으로 일반화되도록 할 수 있음을 시연한다.
• 여러 개의 자체 지도 작업을 결합하면 단일 작업보다 더 나은 적응 성능을 낳는다는 것을 보여준다.
• 픽셀 수준의 적응 기법과 효과적으로 결합되어 추가 이익을 얻을 수 있음을 시사한다(예: CyCADA 기준선 개선).
• GTA5에서 Cityscapes로의 세그먼테이션 적응도 소스 전용 기준선 대비 상당한 개선과 CyCADA와의 결합 시 이익을 보여준다.