[논문 리뷰] Unsupervised Domain Adaptation for Image Classification via Structure-Conditioned Adversarial Learning

Hui Wang, Jian Tian외 5명|arXiv (Cornell University)|2021. 03. 04.

Domain Adaptation and Few-Shot Learning참고 문헌 55인용 수 5

한 줄 요약

이 논문은 구조 조건부 적대적 학습(구조 조건부 적대적 학습, SCAL)을 제안한다. SCAL은 적대적 학습에 클러스터링 기반 국소 구조를 조건으로 통합함으로써 타겟 도메인 특징의 동일 클래스 내 밀도를 유지하는 엔드 투 엔드 비지도 도메인 적응 방법이다. 반복적으로 국소 구조를 구축하고, 미분 가능한 대체 클러스터링을 통해 적대적 과정을 개선함으로써, Office-31 및 VisDA-2017와 같은 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Unsupervised domain adaptation (UDA) typically carries out knowledge transfer from a label-rich source domain to an unlabeled target domain by adversarial learning. In principle, existing UDA approaches mainly focus on the global distribution alignment between domains while ignoring the intrinsic local distribution properties. Motivated by this observation, we propose an end-to-end structure-conditioned adversarial learning scheme (SCAL) that is able to preserve the intra-class compactness during domain distribution alignment. By using local structures as structure-aware conditions, the proposed scheme is implemented in a structure-conditioned adversarial learning pipeline. The above learning procedure is iteratively performed by alternating between local structures establishment and structure-conditioned adversarial learning. Experimental results demonstrate the effectiveness of the proposed scheme in UDA scenarios.

연구 동기 및 목표

• 기존 비지도 도메인 적응(UDA) 방법이 도메인 분포를 전역적으로 정렬하면서 타겟 도메인 내 국소 동일 클래스 밀도를 忽略하는 한계를 해결하기 위해.
• 도메인 적응 과정에서 타겟 도메인 특징의 내재된 국소 구조를 명시적으로 모델링하고 유지하기 위해.
• 구조 조건을 위한 비가환 클러스터링을 미분 가능한 신경망 대체물로 대체함으로써 엔드 투 엔드 학습을 가능하게 하기 위해.
• 구조 인식 조건을 통합함으로써 일반화 능력과 UDA 환경에서의 강인성이 향상됨을 입증하기 위해.

제안 방법

• 클러스터링 기반 국소 구조를 적대적 학습의 조건으로 사용하는 새로운 구조 조건부 적대적 학습(SCAL) 프레임워크를 제안한다.
• 타겟 도메인 특징에서 유도된 국소 구조 정보를 적대적 학습 파이프라인에 통합하여 도메인 정렬을 이끌면서도 동일 클래스 내 밀도를 유지한다.
• 클러스터링 과정은 비가환적이지만, 이를 미분 가능한 신경망 대체물로 대체하여 비가환성에도 불구하고 엔드 투 엔드 역전파를 가능하게 한다.
• 두 단계를 번갈아 수행한다: (1) 타겟 특징에 대한 클러스터링을 통한 국소 구조 수립, (2) 클러스터 기반 조건을 사용한 구조 조건부 적대적 학습 수행.
• 평가를 위해 소스 분류기의 출력을 의사 레이블로 사용하고, 일致성 유지 목적을 위해 학습 루프에 통합한다.
• t-SNE 시각화와 A-distance 분석을 적용하여 밀도 유지 및 도메인 이탈 감소를 검증한다.

실험 결과

연구 질문

• RQ1 타겟 도메인의 국소 구조 정보를 통합함으로써 도메인 적응 성능 향상이 가능한가?
• RQ2 표준 도메인 정렬 대비, 구조 조건부 적대적 학습이 동일 클래스 내 밀도를 더 잘 유지하는가?
• RQ3 타겟 도메인의 노이즈 또는 부정확한 클러스터 할당에 대해 제안된 방법이 얼마나 강인한가?
• RQ4 클러스터링을 위한 미분 가능한 대체물이 구조 인식 UDA 프레임워크에서 엔드 투 엔드 학습을 가능하게 하는가?
• RQ5 정확도 및 일반화 능력 측면에서 DANN, JAN, MCD와 같은 최신 기술 수준(SOTA) 방법과 비교해 SCAL은 어떻게 성과를 내는가?

주요 결과

• Office-31의 A→W 작업에서 SCAL은 93.5%의 정확도를 달성하여 기준 모델인 ResNet-50(82.0%) 및 DANN을 크게 앞서며 성능을 뛰어넘었다.
• VisDA-2017의 시뮬레이션에서 실물로의 벤치마크에서 SCAL은 최신 기술 수준(SOTA) 성능을 달성하여 강력한 일반화 능력을 입증했다.
• 75%의 노이즈가 섞인 클러스터 레이블 조건에서도 SCAL은 기준 모델 대비 4.9%의 정확도 향상을 유지하며 높은 노이즈 강인성을 보였다.
• A-distance 지표는 SCAL이 DANN보다 도메인 분포 간의 분산을 더 효과적으로 감소시켜 더 나은 도메인 정렬을 이룬다는 것을 확인했다.
• 클러스터링으로 인해 시간 비용이 약 15% 증가하지만, 실용적 사용에 있어 여전히 수용 가능한 수준을 유지한다.
• 시각화 결과는 표준 적대적 방법과 달리, SCAL이 타겟 도메인에서 동일 클래스 내 밀도를 유지하면서 도메인 이탈을 줄임을 확인했다.