[논문 리뷰] Joint Domain Alignment and Discriminative Feature Learning for Unsupervised Deep Domain Adaptation

Chao Chen, Zhihong Chen외 2명|arXiv (Cornell University)|2018. 08. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 28인용 수 27

한 줄 요약

이 논문은 도메인 분포를 동시에 정렬하고 특징의 판별 능력을 향상시킴으로써 도메인 불변 표현을 향상시키는 새로운 비지도 딥 도메인 적응 프레임워크인 공동 도메인 정렬 및 판별적 특징 학습(JDDA)을 제안한다. JDDA는 도메인 정렬에 기반한 샘플 기반 및 중심 기반 판별 손실를 통합하여 공유 특징 공간에서 내부 클래스의 밀도를 높이고 클래스 간 간격을 넓혀, 분류 정확도를 크게 향상시키며 벤치마크 전이 작업에서 뛰어난 성능을 달성한다.

ABSTRACT

Recently, considerable effort has been devoted to deep domain adaptation in computer vision and machine learning communities. However, most of existing work only concentrates on learning shared feature representation by minimizing the distribution discrepancy across different domains. Due to the fact that all the domain alignment approaches can only reduce, but not remove the domain shift. Target domain samples distributed near the edge of the clusters, or far from their corresponding class centers are easily to be misclassified by the hyperplane learned from the source domain. To alleviate this issue, we propose to joint domain alignment and discriminative feature learning, which could benefit both domain alignment and final classification. Specifically, an instance-based discriminative feature learning method and a center-based discriminative feature learning method are proposed, both of which guarantee the domain invariant features with better intra-class compactness and inter-class separability. Extensive experiments show that learning the discriminative features in the shared feature space can significantly boost the performance of deep domain adaptation methods.

연구 동기 및 목표

• 기존 도메인 적응 방법이 도메인 이탈을 줄일 뿐만 아니라 제거하지 못하는 한계를 해결한다.
• 잔류 도메인 차이로 인해 클러스터 경계 근처 또는 중심에서 멀리 떨어진 타겟 샘플의 오분류 문제를 완화한다.
• 공유된 특징 공간에서 도메인 정렬과 판별적 특징 학습을 공동으로 최적화하여 전이 성능을 향상시킨다.
• 공유 표현 학습을 통해 소스 도메인의 레이블 정보를 활용하여 타겟 도메인의 특징 판별 능력을 암묵적으로 향상시킨다.
• 정렬된 공간에서의 판별적 특징이 비지도 도메인 적응 환경에서 더 강력하고 일반화 능력이 뛰어난 모델을 이끌어내는지 입증한다.

제안 방법

• 공유 특징 공간에서 유사한 샘플 간의 거리를 최소화하여 내부 클래스의 밀도를 높이는 인스턴스 기반 판별 손실을 제안한다.
• 공유 특징 공간에서 클래스 중심 간의 거리를 넓혀 클래스 간 분리도를 극대화하는 중심 기반 판별 손실을 도입한다.
• 기존의 도메인 정렬 손실(CORAL 또는 MMD 등)과 함께 두 판별 손실을 통합하여 도메인 불변성과 특징 판별 능력을 공동 최적화한다.
• 공유 인코더와 도메인별 헤드를 갖춘 시아모이드 유사 딥 신경망을 훈련하여 총 손실 함수를 엔드 투 엔드로 최적화한다.
• 학습 가능한 초파rameter를 갖춘 균형 잡힌 손실 함수를 사용하여 도메인 정렬 손실, 분류 손실, 판별 손실을 통합한다.
• t-SNE 시각화와 수렴 분석을 통해 학습된 특징의 품질과 훈련 동역학을 검증한다.

실험 결과

연구 질문

• RQ1 도메인 정렬과 판별적 특징 학습을 공동 최적화함으로써 잔류 도메인 이탈을 줄이고 분류 정확도를 향상시킬 수 있는가?
• RQ2 공유 특징 공간에서 내부 클래스의 밀도와 클래스 간 간격을 강제로 높이면 도메인 적응 성능에 어떤 영향을 미치는가?
• RQ3 소스 도메인에서 판별적 특징을 학습하면 비지도 적응 환경에서 타겟 도메인의 특징도 더 판별적으로 만들어지는가?
• RQ4 다양한 초파rameter 설정이 도메인 정렬과 판별 학습 간의 트레이드오프에 어떤 영향을 미치는가?
• RQ5 최신 기술 대비 수렴 속도와 안정성 측면에서 제안된 방법은 어떻게 비교되는가?

주요 결과

• JDDA는 SVHN → MNIST 및 MNIST → MNIST-M과 같은 표준 도메인 적응 벤치마크에서 최신 기술을 능가하는 성능을 달성하며, CORAL 및 MMD 기반 접근법보다 뛰어난 성능을 보였다.
• t-SNE 시각화 결과 JDDA가 기준 방법보다 더 판별적인 특징을 학습하며, 클래스 간 간격이 더 크고 도메인 정렬 수준이 더 높다는 것을 확인했다.
• 수렴 곡선 분석 결과, 특히 중심 기반 판별 손실을 사용할 경우 JDDA가 경쟁 방법보다 더 빠르게 수렴하고 더 낮은 테스트 오차에 도달함을 확인했다.
• 파라미터 민감도 분석 결과 판별 손실 가중치에 대해 성능이 종형 곡선을 이룬다는 점을 확인하여, 정렬과 판별 간 최적의 균형이 존재함을 입증했다.
• 중심 기반 변형(JDDA-C)은 더 빠른 수렴과 더 높은 성능을 보였으며, 이는 전반적인 클러스터 구조 인식이 훈련 동역학을 향상시킨다는 것을 시사한다.
• 제거 실험 결과 판별 손실을 추가함으로써 정확도가 크게 향상됨을 확인하여 잔류 도메인 이탈 완화에 효과적임을 입증했다.