[논문 리뷰] Bi-Classifier Determinacy Maximization for Unsupervised Domain Adaptation

Shuang Li, Fangrui Lv외 4명|arXiv (Cornell University)|2020. 12. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 46인용 수 5

한 줄 요약

이 논문은 이분류기 예측의 비일관성 정도를 측정하는 지표인 분류기 결정성 이질성(CDD)을 도입하여 특징의 분류 가능성을 향상시키는 새로운 비지도 도메인 적응 방법인 이분류기 결정성 최대화(BCDM)를 제안한다. BCDM는 CDD를 번갈아가며 최대화하고 최소화함으로써 확신 있는 일관성 있는 예측과 다양한 분류 가능한 표현을 촉진하며, 이미지 분류 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하여 최대 1.4%의 정확도 향상을 기록한다.

ABSTRACT

Unsupervised domain adaptation challenges the problem of transferring knowledge from a well-labelled source domain to an unlabelled target domain. Recently,adversarial learning with bi-classifier has been proven effective in pushing cross-domain distributions close. Prior approaches typically leverage the disagreement between bi-classifier to learn transferable representations, however, they often neglect the classifier determinacy in the target domain, which could result in a lack of feature discriminability. In this paper, we present a simple yet effective method, namely Bi-Classifier Determinacy Maximization(BCDM), to tackle this problem. Motivated by the observation that target samples cannot always be separated distinctly by the decision boundary, here in the proposed BCDM, we design a novel classifier determinacy disparity (CDD) metric, which formulates classifier discrepancy as the class relevance of distinct target predictions and implicitly introduces constraint on the target feature discriminability. To this end, the BCDM can generate discriminative representations by encouraging target predictive outputs to be consistent and determined, meanwhile, preserve the diversity of predictions in an adversarial manner. Furthermore, the properties of CDD as well as the theoretical guarantees of BCDM's generalization bound are both elaborated. Extensive experiments show that BCDM compares favorably against the existing state-of-the-art domain adaptation methods.

연구 동기 및 목표

• 목표 도메인 예측에서의 분류기 결정성 부족이 비지도 도메인 적응에서 특징의 분류 가능성을 해치는 문제를 해결하기 위해.
• 기존의 이분류기 차이 손실(예: ℓ₁)이 예측의 확신도를 강제하지 못하는 한계를 극복하기 위해.
• 불일치하는 예측에서 클래스의 관련성을 포착하는 지표를 개발하여 표현 품질을 향상시키기 위해.
• 이중적으로 CDD 손실을 최대화하고 최소화하는 교차 학습 전략을 제안하여 더 나은 적대적 표현 학습을 유도하기 위해.
• BCDM의 목표 도메인에서의 일반화 성능에 대한 이론적 근거를 제공하기 위해.

제안 방법

• 다른 클래스에서 두 이분류기의 예측값 곱의 합으로 정의된 분류기 결정성 이질성(CDD)을 도입하여 예측 비일관성 정도를 정량화한다.
• 두 단계 학습 전략을 설계: 먼저 CDD를 최대화하여 다양한 출력 공간을 유도하고, 이후 CDD를 최소화하여 일관성 있고 확신 있는 예측을 강제한다.
• CDD를 손실로 사용하여 이분류기 시스템을 적대적으로 최적화함으로써 목표 예측에서 다양성과 결정성을 동시에 촉진한다.
• 기존 방법(예: STAR)에 CDD를 플러그인 모듈로 적용하여 호환성과 효과성을 입증한다.
• BCDM의 일반화 경계를 이론적으로 분석하여 도메인 이동에 대한 강건성을 향상시켰음을 보여준다.
• 성능 검증을 위해 분석용으로 3층 완전 연결 네트워크를, 주 실험에는 ResNet-50을 사용한다.

실험 결과

연구 질문

• RQ1 이분류기 간 불일치에서 클래스의 관련성을 포착하는 지표가 비지도 도메인 적응에서 특징의 분류 가능성을 향상시킬 수 있는가?
• RQ2 CDD 손실을 통해 분류기 결정성을 강제하면 목표 도메인에서 더 확신 있고 일관된 예측이 이루어지는가?
• RQ3 제안된 CDD 기반 학습 전략이 도메인 정렬 및 정확도에서 표준 차이 손실(예: ℓ₁, SWD)을 능가하는가?
• RQ4 CDD 지표는 적대적 학습 과정의 수렴성과 안정성에 어떤 영향을 미치는가?
• RQ5 BCDM의 목표 도메인에서의 일반화 성능에 대한 이론적 근거는 무엇인가?

주요 결과

• Office-31 데이터셋에서 BCDM은 평균 정확도 89.2%를 기록하여 기준 모델인 STAR보다 1.4% 높은 성능을 달성한다.
• VisDA-2017 벤치마크에서 BCDM은 목표 예측의 불확실성을 감소시켜, 90% 이상의 예측이 신뢰도 0.9 초과를 기록한 반면, MCD에 비해 낮은 신뢰도를 보였다.
• BCDM 표현의 프록시 𝒜-distance는 비교한 모든 방법 중에서 가장 작아 도메인 간 분리도 감소를 시사한다.
• SVD 분석 결과, BCDM은 더 많은 정보를 담고 있는 특이값을 유지함을 확인하여 더 강한 특징 분류 가능성을 나타낸다.
• t-SNE 시각화 결과, MCD 및 SWD와 달리 BCDM은 목표 도메인에서 명확하고 잘 분리된 클래스 경계를 유지함을 확인하였다.
• BCDM는 경쟁 방법보다 더 빠르게 수렴하고 낮은 테스트 오차를 기록하여 향상된 학습 안정성과 효율성을 입증하였다.