[논문 리뷰] Dynamic Weighted Learning for Unsupervised Domain Adaptation

Ni Xiao, Lei Zhang|arXiv (Cornell University)|2021. 03. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 43인용 수 11

한 줄 요약

이 논문은 동적으로 보정된 손실 가중치를 기반으로 도메인 정합성과 클래스 구분 가능성 사이의 균형을 실시간으로 모니터링하여 동적으로 조정함으로써 비지도 도메인 적응을 위한 새로운 방법인 동적 가중 학습(DWL)을 제안한다. 또한, 도메인 크기의 불균형으로 인한 모델 편향을 완화하기 위해 샘플 가중치를 도입하여 다양한 벤치마크에서 최신 기술 수준(SOTA)의 성능을 달성하며 뚜렷한 정확도 향상을 이룬다.

ABSTRACT

Unsupervised domain adaptation (UDA) aims to improve the classification performance on an unlabeled target domain by leveraging information from a fully labeled source domain. Recent approaches explore domain-invariant and class-discriminant representations to tackle this task. These methods, however, ignore the interaction between domain alignment learning and class discrimination learning. As a result, the missing or inadequate tradeoff between domain alignment and class discrimination are prone to the problem of negative transfer. In this paper, we propose Dynamic Weighted Learning (DWL) to avoid the discriminability vanishing problem caused by excessive alignment learning and domain misalignment problem caused by excessive discriminant learning. Technically, DWL dynamically weights the learning losses of alignment and discriminability by introducing the degree of alignment and discriminability. Besides, the problem of sample imbalance across domains is first considered in our work, and we solve the problem by weighing the samples to guarantee information balance across domains. Extensive experiments demonstrate that DWL has an excellent performance in several benchmark datasets.

연구 동기 및 목표

• 비지도 도메인 적응에서 도메인 정합성과 클래스 구분 가능성 간의 균형이 깨질 경우 발생하는 부정적 전이 문제를 해결하기 위해.
• 원천 도메인과 타겟 도메인 간의 샘플 수 불균형으로 인한 모델 편향을 완화하기 위해.
• 다양한 교차 도메인 데이터 환경에 적응 가능한 확장 가능한 동적 가중 메커니즘을 개발하기 위해.
• 균형 잡힌 피드백 기반 방식으로 정합성과 구분 가능성을 동시에 최적화하여 특징 표현 품질을 향상시키기 위해.

제안 방법

• DWL은 도메인 정합성과 클래스 구분 가능성의 실시간 정도를 반영하는 균형 인자 τ를 사용하여 도메인 정합성 및 구분 가능성 손실의 가중치를 동적으로 조정한다.
• 정합성 정도는 원천 및 타겟 특징 간의 MMD 거리로 측정되며, 구분 가능성은 분류기 가중치 행렬의 최대 J(W) 값으로 평가된다.
• 원천 도메인과 타겟 도메인의 샘플 수가 크게 다를 경우의 최적화 영향을 균형 잡기 위해 샘플 가중치 메커니즘을 도입한다.
• 동적 균형 인자 τ는 정합성과 구분 가능성의 상대적 진전 정도에 따라 학습 도중 업데이트되며, 이는 적응 가능한 트레이드오프를 가능하게 한다.
• 기존 도메인 적응 모델과의 호환성을 고려해 플러그 앤 플레이 방식으로 설계되었다.
• 프레임워크는 학습 전반에 걸쳐 정합성과 구분 가능성을 모니터링하고, 이 메트릭을 피드백하여 실시간으로 손실 가중치를 조정한다.

실험 결과

연구 질문

• RQ1 비지도 도메인 적응에서 도메인 정합성과 클래스 구분 가능성 간의 트레이드오프를 학습 도중 어떻게 동적으로 균형 잡을 수 있는가?
• RQ2 원천 도메인과 타겟 도메인 간의 데이터 불균형은 모델 수렴과 성능에 어떤 영향을 미치는가?
• RQ3 정합성과 구분 가능성 정도에 대한 실시간 피드백 메커니즘이 특징 표현 품질 향상에 기여하는가?
• RQ4 다양한 교차 도메인 환경에서 동적 손실 가중치 전략은 정적 또는 고정된 가중치 전략보다 어떻게 비교되는가?
• RQ5 샘플 가중치는 불균형한 도메인 크기로 인한 모델 편향을 어느 정도 완화하는가?

주요 결과

• 샘플 가중치와 동적 균형 조정을 모두 적용한 W→A 작업에서 DWL은 69.8%의 정확도를 기록하여 베이스라인 대비 1.9%p 향상되었다.
• Digits 데이터셋에서 동적 가중치 메커니즘(τ:1−τ)은 M→U 및 U→M 작업에서 각각 97.3%와 97.4%의 정확도를 달성하여 정적 1:1 및 9:1 비율을 초월했다.
• USPS→MNIST 작업에서 첫 번째 에포크 내에 동적 균형 인자 τ가 0.5 이하로 떨어졌으며, 이는 구분 가능성에 더 큰 중시가 되었음을 나타내며, 이는 작은 도메인 시프트와 초기 구분 가능성의 열악함과 부합한다.
• 혼동 행렬 시각화 결과 DWL을 사용할 경우 Source-only 대비 잘못 분류되는 경우(예: 개→자전거 및 말→말 등)가 뚜렷하게 감소한 것으로 나타났다.
• 제거 실험 결과, 샘플 가중치와 동적 균형 조정이 모두 필수적임을 확인하였으며, 이들의 조합이 가장 높은 정확도 향상을 이룬다.
• DWL에서는 MMD 거리가 감소하고 J(W) 값은 증가함으로써 도메인 정합성과 클래스 구분 가능성의 효과적인 동시 최적화가 이루어짐을 나타낸다.