[논문 리뷰] Opposite Structure Learning for Semi-supervised Domain Adaptation

Can Qin, Lichen Wang외 4명|arXiv (Cornell University)|2020. 02. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 32인용 수 20

한 줄 요약

이 논문은 도메인 적응을 위한 통합된 반대 구조 기반 방법(UODA)을 제안한다. 이는 소스 특징을 확장하고 타겟 특징을 군집화하는 것을 번갈아가며 교차 도메인 분포를 정렬하는 반감성 학습 방법이다. 서로 반대되는 손실 형태를 갖는 소스 기반 및 타겟 기반 분류기를 통해 결정 경계의 매끄러움과 클래스 간 분離도를 향상시켜, DomainNet과 Office-Home에서 최신 기준 성능을 달성한다.

ABSTRACT

Current adversarial adaptation methods attempt to align the cross-domain features whereas two challenges remain unsolved: 1) conditional distribution mismatch between different domains and 2) the bias of decision boundary towards the source domain. To solve these challenges, we propose a novel framework for semi-supervised domain adaptation by unifying the learning of opposite structures (UODA). UODA consists of a generator and two classifiers (i.e., the source-based and the target-based classifiers respectively) which are trained with opposite forms of losses for a unified object. The target-based classifier attempts to cluster the target features to improve intra-class density and enlarge inter-class divergence. Meanwhile, the source-based classifier is designed to scatter the source features to enhance the smoothness of decision boundary. Through the alternation of source-feature expansion and target-feature clustering procedures, the target features are well-enclosed within the dilated boundary of the corresponding source features. This strategy effectively makes the cross-domain features precisely aligned. To overcome the model collapse through training, we progressively update the measurement of distance and the feature representation on both domains via an adversarial training paradigm. Extensive experiments on the benchmarks of DomainNet and Office-home datasets demonstrate the effectiveness of our approach over the state-of-the-art method.

연구 동기 및 목표

• 반감성 도메인 적응에서 소스 도메인과 타겟 도메인 간 조건부 분포 불일치 문제를 해결한다.
• 타겟 특징 군집화를 향상시켜 결정 경계가 소스 도메인 쪽으로 편향되는 것을 줄인다.
• 소스 특징 확장과 타겟 특징 군집화를 번갈아가며 수행함으로써 특징 정렬을 향상시킨다.
• 거리 측정과 특징 표현을 점진적으로 업데이트하여, 적대적 학습 중 모델 붕괴를 방지한다.
• 적대적 도메인 정렬에만 의존하지 않고 정밀한 교차 도메인 특징 정렬을 달성한다.

제안 방법

• 소스 기반 분류기와 타겟 기반 분류기를 도입하여, 소스 특징을 산산이 흩트림으로써 결정 경계의 매끄러움을 향상시킨다.
• 타겟 기반 분류기를 설계하여 타겟 특징을 군집화함으로써 내부 클래스의 조밀함과 클래스 간 분리도를 높인다.
• 소스 및 타겟 분류기의 손실 함수를 서로 반대 형태로 설정하여, 하나의 최적화 목표에 반대 구조 학습을 통합한다.
• 소스 특징 확장과 타겟 특징 군집화 절차를 번갈아 수행함으로써 소스 경계를 확장하고 타겟 특징을 그 안에 둘러싸게 한다.
• 적대적 학습을 적용하여 특징 표현과 거리 측정을 점진적으로 업데이트함으로써 모델 붕괴를 완화한다.
• 도메인 간 특징 정렬과 결정 경계 강인성을 동시에 최적화하는 통합 목표를 사용한다.

실험 결과

연구 질문

• RQ1 어떻게 반감성 도메인 적응에서 소스 도메인과 타겟 도메인 간 조건부 분포 불일치를 효과적으로 줄일 수 있는가?
• RQ2 소스 및 타겟 분류기의 반대 손실 형태는 결정 경계 일반화 능력을 어느 정도 향상시킬 수 있는가?
• RQ3 소스 특징 확장과 타겟 군집화 절차를 번갈아 수행하는 방식이 기존의 적대적 정렬보다 더 나은 교차 도메인 특징 정렬을 이끌 수 있는가?
• RQ4 특징 표현과 거리 측정의 점진적 개선은 학습 도중 모델 붕괴를 어떻게 방지하는가?
• RQ5 제안된 UODA 프레임워크는 표준 도메인 적응 벤치마크에서 기존 최신 기준 방법들을 초월하는가?

주요 결과

• UODA는 DomainNet 벤치마크에서 최신 기준 성능을 달성하여, 교차 도메인 일반화 능력에서 기존 방법들을 압도한다.
• 이 방법은 타겟 특징 군집화를 크게 향상시켜 내부 클래스의 조밀함과 클래스 간 분리도를 높인다.
• 소스 및 타겟 분류기의 손실 형태를 반대 방향으로 설정함으로써 결정 경계가 소스 도메인 쪽으로 편향되는 것을 줄인다.
• 소스 확장과 타겟 군집화의 번갈아 적용이 교차 도메인 특징의 정밀한 정렬을 이끈다.
• 거리 측정과 특징 표현에 대한 점진적 업데이트가 적대적 학습 중 모델 붕괴를 효과적으로 방지한다.
• Office-Home에서의 광범위한 실험을 통해 UODA가 최소한의 감독 하에 다양한 도메인 이동 상황에서도 잘 일반화됨을 확인했다.