[논문 리뷰] Domain-Symmetric Networks for Adversarial Domain Adaptation

Yabin Zhang, Hui Tang외 2명|arXiv (Cornell University)|2019. 04. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 32인용 수 40

한 줄 요약

도메인 대칭 네트워크(SymNets)를 제시하여 감독되지 않는 도메인 적응을 수행하며, 대칭 소스/타깃 분류기 및 공유 보조 분류기를 사용해 두 수준의 도메인 혼동과 교차 도메인 학습을 통해 결합된 특징-범주 분포를 정렬합니다.

ABSTRACT

Unsupervised domain adaptation aims to learn a model of classifier for unlabeled samples on the target domain, given training data of labeled samples on the source domain. Impressive progress is made recently by learning invariant features via domain-adversarial training of deep networks. In spite of the recent progress, domain adaptation is still limited in achieving the invariance of feature distributions at a finer category level. To this end, we propose in this paper a new domain adaptation method called Domain-Symmetric Networks (SymNets). The proposed SymNet is based on a symmetric design of source and target task classifiers, based on which we also construct an additional classifier that shares with them its layer neurons. To train the SymNet, we propose a novel adversarial learning objective whose key design is based on a two-level domain confusion scheme, where the category-level confusion loss improves over the domain-level one by driving the learning of intermediate network features to be invariant at the corresponding categories of the two domains. Both domain discrimination and domain confusion are implemented based on the constructed additional classifier. Since target samples are unlabeled, we also propose a scheme of cross-domain training to help learn the target classifier. Careful ablation studies show the efficacy of our proposed method. In particular, based on commonly used base networks, our SymNets achieve the new state of the art on three benchmark domain adaptation datasets.

연구 동기 및 목표

• 도메인 간 특징 및 범주의 결합 분포 정렬의 필요성을 제시하고 감독되지 않는 도메인 적응를 동기부여합니다.
• 공유 보조 구성 요소를 갖춘 대칭 네트워크 아키텍처를 제안하여 범주 수준 및 도메인 수준의 혼동을 가능하게 합니다.
• 도메인 및 범주 수준에서 도메인 불변 특징을 강화하기 위한 두 수준의 적대적 학습 목표를 개발합니다.
• 소스 도메인 분류기를 반영하는 타깃 도메인 분류기를 학습하기 위한 교차 도메인 학습을 포함합니다.
• 방법의 타당성을 실증적으로 검증하고 벤치마크 데이터셋에서 최첨단 성능을 입증합니다.

제안 방법

• SymNet를 두 개의 평행한 소스/타깃 분류기 Cs 및 Ct와 두 개의 뉴런을 공유하는 추가 공유 분류기 Cst로 구성합니다.
• 전통적인 교차 엔트로피 손실을 사용하는 라벨링된 소스 데이터에 대해 Cs를 학습합니다; 소스 레이블을 사용한 교차 도메인 감독을 통해 Ct를 학습하여 Cs와의 대응 관계를 구축합니다.
• Cst를 사용하여 소스-도메인 예측과 타깃-도메인 예측을 분리하는 양방향 교차 엔트로피 손실을 통해 도메인 차별화 및 도메인 혼동을 수행합니다.
• 두 수준의 도메인 혼동 도입: 범주 수준 혼동(라벨링된 소스 데이터를 사용하여 범주 수준의 불변성을 강제)과 도메인 수준 혼동(라벨이 없는 타깃 데이터를 사용하여 도메인 분포를 정렬)
• 깊은 초기 단계에서의 잘못된 라벨링을 피하면서도 자신감 있는 타깃팅을 유도하기 위한 엔트로피 최소화 항을 도입하되 특징 추출기 G의 업데이트에만 적용합니다.
• 이들 구성 요소를 하나의 객관식으로 결합하여 Cs, Ct, Cst 및 특징 추출기 G를 학습시키는 unified objective를 구성합니다.

실험 결과

연구 질문

• RQ1 도메인 간 특징 및 범주 결합 분포를 정렬하는 것이 특징 수준 정렬보다 무감독 도메인 적응을 개선할 수 있는가?
• RQ2 보조 공유 분류기를 갖춘 대칭 아키텍처가 더 나은 타깃 성능을 위한 범주 수준 및 도메인 수준 혼동을 효과적으로 가능하게 하는가?
• RQ3 범주 수준 혼동 손실과 도메인 수준 혼동 손실이 더 전이 가능한 특징 학습에 어떻게 기여하는가?
• RQ4 타깃 라벨이 없는 상태에서 교차 도메인 감독이 경쟁력 있는 타깃 도메인 분류기를 학습하는 데 도움이 되는가?
• RQ5 두 수준 혼동 프레임워크에서 엔트로피 최소화의 수렴 및 성능에 미치는 영향은 무엇인가?

주요 결과

Methods	A -> W	D -> W	W -> D	A -> D	D -> A	W -> A	Avg
SymNets	90.8	98.8	100.0	93.9	74.6	72.5	88.4

• SymNets는 50-layer ResNet 백본을 기반으로 할 때 Office-31, ImageCLEF-DA, Office-Home 벤치마크에서 최첨단 정확도를 달성합니다.
• Office-31에서 SymNets는 여섯 개 작업에서 평균 정확도 88.4%를 달성하며 여러 선행 방법을 능가합니다.
• ImageCLEF-DA에서 SymNets는 평균 정확도를 89.9%로 향상시키며 경쟁 방법을 능가합니다.
• Office-Home에서 SymNets는 평균 정확도 67.6%를 달성하여 많은 베이스라인을 상회하며 도전적인 데이터셋에서 로버스트함을 입증합니다.
• 에비로레이션 연구에서 도메인 혼동, 범주 수준 혼동 및 엔트로피 최소화가 성능 향상에 기여하며 교차 도메인 감독(E task^t)이 강한 타깃 분류기를 학습하는 데 중요합니다.
• t-SNE 시각화는 SymNets가 벤치마크 대비 더 작고 도메인에 정렬된 특징 분포를 보임을 시사합니다.