[논문 리뷰] Cross-Domain Gradient Discrepancy Minimization for Unsupervised Domain Adaptation

Zhekai Du, Jingjing Li외 3명|arXiv (Cornell University)|2021. 06. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 44인용 수 8

한 줄 요약

이 논문은 교차 도메인 기울기 불일치 최소화(Cross-Domain Gradient Discrepancy Minimization, CGDM)를 제안하며, 분류 정확도의 대체 지표로 기울기 신호를 사용하여 소스 및 타겟 샘플 간의 기울기 불일치를 최소화함으로써 도메인 분산을 감소시키는 새로운 비지도 도메 적응 방법이다. 기울기 기반 감독과 클러스터링 기반 가짜 레이블링을 결합함으로써 카테고리 수준의 정렬을 향상시키고, ImageCLEF, VisDA-2017, DomainNet에서 최신 기술 수준(SOTA) 성능을 달성하며, 이전 방법 대비 평균 1.5%의 정확도 향상을 보였다.

ABSTRACT

Unsupervised Domain Adaptation (UDA) aims to generalize the knowledge learned from a well-labeled source domain to an unlabeled target domain. Recently, adversarial domain adaptation with two distinct classifiers (bi-classifier) has been introduced into UDA which is effective to align distributions between different domains. Previous bi-classifier adversarial learning methods only focus on the similarity between the outputs of two distinct classifiers. However, the similarity of the outputs cannot guarantee the accuracy of target samples, i.e., target samples may match to wrong categories even if the discrepancy between two classifiers is small. To challenge this issue, in this paper, we propose a cross-domain gradient discrepancy minimization (CGDM) method which explicitly minimizes the discrepancy of gradients generated by source samples and target samples. Specifically, the gradient gives a cue for the semantic information of target samples so it can be used as a good supervision to improve the accuracy of target samples. In order to compute the gradient signal of target samples, we further obtain target pseudo labels through a clustering-based self-supervised learning. Extensive experiments on three widely used UDA datasets show that our method surpasses many previous state-of-the-arts. Codes are available at https://github.com/lijin118/CGDM.

연구 동기 및 목표

• 낮은 출력 불일치가 타겟 샘플에서 정확한 분류를 보장하지 못하는 이중 분류기 적대적 학습의 문제를 해결하기 위해.
• 분류 정확도의 대체 지표로 기울기 신호를 활용하여 카테고리 수준의 도메인 정렬을 향상시키기 위해.
• 자기 지율 타겟 레이블링에서 노이즈가 많은 가짜 레이블로 인한 오류 전파를 줄이기 위해 클러스터링 기반 전략을 사용하기 위해.
• 기존 이중 분류기 적대적 프레임워크에 통합될 수 있는 일반화 가능한 손실 메커니즘을 개발하기 위해.

제안 방법

• 학습 중 역전파 동안 소스 및 타겟 샘플의 기울기 간 L1 거리 최소화를 위한 기울기 불일치 손실을 도입한다.
• 노이즈를 줄이기 위해 타겟 샘플에 대해 더 신뢰할 수 있는 가짜 레이블을 생성하기 위해 클러스터링 기반 자기 지율 학습 모듈을 사용한다.
• 기울기 불일치 최소화와 자기 지율 학습을 통합된 이중 분류기 적대적 학습 목표로 통합한다.
• 기울기 신호는 특징에 대한 손실 기울기로 계산되며, 모델의 자신감과 의미 일관성을 반영하는 동적 감독 신호를 제공한다.
• 일반화된 손실 항목으로 제안되어 기본 이중 분류기 설정 외의 다양한 UDA 파라다임과 호환된다.
• 소스 데이터에 대한 감독 손실, 타겟 데이터에 대한 자기 지율 손실, 기울기 불일치 손실 간의 트레이드오프를 고려하여 엔드 투 엔드로 학습된다.

Figure 1: Illustration of the issue in previous bi-classifier adversarial learning. Previous methods only consider the discrepancy between classifiers and neglect the accuracy of the target samples.

실험 결과

연구 질문

• RQ1 비지도 도메 적응에서 소스 및 타겟 샘플 간의 기울기 불일치가 분류 정확도의 신뢰할 수 있는 대체 지표가 될 수 있는가?
• RQ2 기울기 불일치를 최소화하는 것이 출력 기반 불일치 최소화보다 카테고리 수준의 정렬에서 더 나은 성능을 내는가?
• RQ3 클러스터링 기반 가짜 레이블링은 대규모 도메인 분산 상황에서 자율 지율 학습의 신뢰성을 향상시킬 수 있는가?
• RQ4 다양한 데이터셋에서의 강건성과 일반화 능력 측면에서 제안된 방법은 최신 기술 수준(SOTA) UDA 방법보다 어떻게 비교되는가?

주요 결과

• ImageCLEF 데이터셋에서 제안된 방법은 평균 정확도 89.5%를 달성하여 이전 최신 기술 수준 방법보다 1.5%포인트 높은 성능을 보였다.
• ImageCLEF의 C→P와 같은 도메인 분산이 심한 상황에서, 큰 도메인 갭에 대해 강건함을 입증하며 뚜렷한 정확도 향상을 보였다.
• VisDA-2017 및 DomainNet 벤치마크에서 기존 SOTA 방법을 크게 앞서며, 특히 고카테고리 및 고도메인 갭 설정에서 뛰어난 성능을 보였다.
• 절단 실험 결과, 기울기 불일치와 자기 지율 학습 모듈 모두 성능 향상에 기여하며, 함께 사용했을 때 최고의 성능를 기록했다.
• 모델는 안정적인 수렴과 하이퍼파rameter에 대한 낮은 민감도를 보였으며, 특히 기울기 불일치 가중치를 1 이하로 유지할 경우 두드러진 경향을 보였다.
• t-SNE를 이용한 특징 시각화 결과, CGDM 적용 후 타겟 특징가 소스 특징과 카테고리 수준에서 더 잘 정렬됨을 확인하여, 개선된 분류 가능성과 분포 정렬을 확인할 수 있었다.

Figure 2: An illustration of our framework. Both source samples and target samples are passed through the generator $G$ and two classifiers $F_{1}$ and $F_{2}$ . Then the supervised loss is used to minimize the classification error on source samples. We use a self-supervised mechanism to reduce the