[논문 리뷰] Semantic Domain Adversarial Networks for Unsupervised Domain Adaptation

Dapeng Hu, Jian Liang외 5명|arXiv (Cornell University)|2020. 03. 30.

Domain Adaptation and Few-Shot Learning참고 문헌 73인용 수 5

한 줄 요약

이 논문은 비지도 도메인 적응을 위한 간단하면서도 효과적인 도메인 적대적 훈련 방법인 SDAN과 SSDAN을 제안한다. 도메인 간 정렬을 위한 노름 제어형 연결 조건 전략과 구조 인식형 의미 공간을 도입함으로써, SDAN은 도메인 간 특징 정렬을 향상시키며, SSDAN은 구조적 의미를 활용하여 성능을 추가로 향상시켜 객체 인식 및 의미 세그멘테이션 벤치마크에서 최신 기술들을 능가한다.

ABSTRACT

Domain adversarial training has become a prevailing and effective paradigm for unsupervised domain adaptation (UDA). To successfully align the multi-modal data structures across domains, the following works exploit discriminative information in the adversarial training process, e.g., using multiple class-wise discriminators and introducing conditional information in input or output of the domain discriminator. However, these methods either require non-trivial model designs or are inefficient for UDA tasks. In this work, we attempt to address this dilemma by devising simple and compact conditional domain adversarial training methods. We first show that the previous failure of the concatenation conditioning strategy mainly accounts for the weak support of the conditioning. Thus we propose an effective concatenation conditioning strategy by introducing a norm control factor to strengthen the conditioning and term the derived method as \underline{S}emantic \underline{D}omain \underline{A}dversarial \underline{N}etworks~(SDAN). However, directly applying predictions for conditional domain alignment, SDAN still suffers from inaccurate target predictions. We further propose a novel structure-aware conditioning strategy to enhance SDAN by conditioning the cross-domain feature alignment in the structure-aware semantic space rather than in the prediction space. We term the enhanced method as \underline{S}tructure-aware \underline{S}emantic \underline{D}omain \underline{A}dversarial \underline{N}etworks~(SSDAN). Experiments on both object recognition and semantic segmentation show that SDAN effectively aligns the multi-modal structures across domains and even outperforms state-of-the-art domain adversarial training methods. With structure-aware semantic conditioning, SSDAN further improves the adaptation performance over SDAN on multiple object recognition benchmarks for UDA.

연구 동기 및 목표

• 다중 판별자 또는 조건 정보를 사용하는 이전 도메인 적대적 훈련 방법에서의 비효율성과 복잡한 모델 설계 문제를 해결한다.
• 기존의 연결 기반 도메인 적대적 훈련에서 약한 조건 효과가 특징 정렬 성능을 제한하는 문제를 극복한다.
• 도메인 정렬을 위한 조건 메커니즘의 정교화를 통해 비지도 도메인 적응에서 타겟 예측 정확도를 향상시킨다.
• 예측 기반 조건에서 구조 인식형 의미 공간 조건으로 전환하여 도메인 간 특징 정렬을 향상시킨다.
• 표준 벤치마크에서 최신 기술 성능을 달성하는 간결하고 효율적이며 효과적인 비지도 도메인 적응 방법을 개발한다.

제안 방법

• SDAN에서 조건 신호를 강화하기 위해 노름 제어형 연결 조건 전략을 제안하여 도메인 판별자의 구분 능력을 향상시킨다.
• SSDAN에서 특징 구조에서 유도된 의미 공간에서 도메인 간 정렬을 수행하는 새로운 구조 인식형 조건 메커니즘을 도입한다.
• 특징과 클래스 예측에 모두 조건이 붙은 도메인 판별자를 사용하며, 노름 제어 요소를 통해 조건 신호를 안정화하고 강화한다.
• 특징 인코더와 도메인 판별자를 적대적으로 훈련시켜 도메인 불변 표현을 학습하도록 유도한다.
• 조건부 감독이 적용된 도메인 적대적 훈련 목표를 사용하며, 조건은 클래스 예측(_SDAN_) 또는 구조 인식형 의미 임베딩( _SSDAN_ )에서 유도된다.
• 분류 손실과 도메인 적대적 손실을 병합하여 전체 네트워크를 엔드 투 엔드로 최적화함으로써, 레이블이 없는 타겟 데이터가 필요 없이 효과적인 특징 정렬을 가능하게 한다.

실험 결과

연구 질문

• RQ1 표준 연결 조건 전략이 도메인 적대적 훈련에서 실패하는 이유는 무엇이며, 조건 강도를 효과적으로 향상시킬 수 있는 방법은 무엇인가?
• RQ2 간단하고 간결한 조건 메커니즘이 복잡한 다중 판별자 또는 조건부 GAN 기반 접근법보다 비지도 도메인 적응에서 뛰어난 성능을 낼 수 있는가?
• RQ3 예측 공간 조건보다 구조 인식형 의미 공간 조건이 도메인 정렬에 어떻게 향상되는가?
• RQ4 제안된 방법이 비지도 도메인 적응 하에서 객체 인식 및 의미 세그멘테이션 벤치마크에서 일반화 성능을 얼마나 향상시키는가?
• RQ5 제안된 방법은 모델의 단순성과 훈련 효율성을 유지하면서도 최신 기술 성능을 달성할 수 있는가?

주요 결과

• SDAN은 노름 제어 요소를 통해 조건 신호를 강화함으로써 도메인 정렬을 효과적으로 향상시켜 이전의 연결 기반 방법보다 더 우수한 성능을 달성한다.
• SDAN은 비지도 도메인 적응을 위한 다수의 객체 인식 벤치마크에서 최신 기술 성능을 달성하며, 더 복잡한 이전 방법들을 초월한다.
• SSDAN의 구조 인식형 의미 조건은 더 의미적으로 유의미한 공간에서 특징을 정렬함으로써 적응 성능을 추가로 향상시킨다.
• SSDAN은 여러 벤치마크에서 SDAN을 초월하는 뛰어난 성능을 기록하여, 구조 인식형 조건이 일반화 성능 향상에 효과적임을 입증한다.
• 제안된 방법들은 모두 효율적이고 간결하여 복잡한 아키텍처나 다중 판별자가 필요 없이도 강력한 성능을 유지한다.
• 객체 인식과 의미 세그멘테이션 양쪽 작업에 대한 실험에서 일관된 성능 향상이 관찰되어 SDAN과 SSDAN의 일반화 능력이 다양한 비전 작업에 걸쳐 뛰어남을 확인한다.