[논문 리뷰] Adversarial Domain Adaptation Being Aware of Class Relationships

Zeya Wang, Baoyu Jing외 4명|arXiv (Cornell University)|2019. 05. 28.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

이 논문은 다중 클래스 도메인 판별기와 구조 정규화 항을 통해 상호 클래스 간 의미적 관계를 명시적으로 모델링함으로써 도메인 적응을 향상시키는 새로운 방법인 관계 인식 적대적 도메인 적응(RADA)을 제안한다. 소스 도메인의 레이블 예측기에서 학습된 상호 클래스 의존성과 도메인 판별기에서 학습된 의존성을 정렬함으로써 RADA는 특징 정렬을 향상시키고 Office-31과 같은 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Adversarial training is a useful approach to promote the learning of transferable representations across the source and target domains, which has been widely applied for domain adaptation (DA) tasks based on deep neural networks. Until very recently, existing adversarial domain adaptation (ADA) methods ignore the useful information from the label space, which is an important factor accountable for the complicated data distributions associated with different semantic classes. Especially, the inter-class semantic relationships have been rarely considered and discussed in the current work of transfer learning. In this paper, we propose a novel relationship-aware adversarial domain adaptation (RADA) algorithm, which first utilizes a single multi-class domain discriminator to enforce the learning of inter-class dependency structure during domain-adversarial training and then aligns this structure with the inter-class dependencies that are characterized from training the label predictor on source domain. Specifically, we impose a regularization term to penalize the structure discrepancy between the inter-class dependencies respectively estimated from domain discriminator and label predictor. Through this alignment, our proposed method makes the adversarial domain adaptation aware of the class relationships. Empirical studies show that the incorporation of class relationships significantly improves the performance on benchmark datasets.

연구 동기 및 목표

• 레이블 공간 내의 의미적 클래스 관계를 忽시하는 기존 적대적 도메인 적응(ADA) 방법의 한계를 해결하기 위해.
• 소스 도메인과 타겟 도메인 간의 상호 클래스 의존성을 캡처하고 정렬함으로써 도메인 적응을 향상시키기 위해.
• 레이블에서 유도된 고차원 의미 구조를 활용하여 더 정확한 분포 정렬을 유도하는 방법을 개발하기 위해.
• 주요 아키텍처 변경 없이도 클래스 관계 인식을 적대적 훈련 과정에 통합하기 위해.

제안 방법

• 다중 클래스 도메인 판별기를 단일로 제안하여 클래스별 도메인 분류를 수행함으로써 클래스 간 지식 공유와 상호 클래스 의존성 학습을 가능하게 한다.
• 도메인 판별기에서 추정한 상호 클래스 의존성과 소스 도메인의 레이블 예측기에서 추정한 의존성 간 격차를 페널티로 줄이는 구조 정규화 항을 도입한다.
• 상호 클래스 의존성을 대칭적 조건부 의존성으로 모델링하기 위해 가우시안 그래픽 모델을 사용한다.
• 도메인 판별기의 의존성 구조가 소스 레이블 예측기의 구조와 일치하도록 보장하기 위해 추적 기반 최적화를 적용한다.
• 표준 DANN 프레임워크에 플러그인 모듈로 통합하여 기존의 적대적 도메인 적응 파ip라인과 호환되도록 한다.
• 스펙트럼 분해와 고유값 분석을 통한 닫힌 형태의 해를 활용하여 정규화 최적화를 위한 계산 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 레이블 공간 내의 상호 클래스 의미적 관계를 모델링하면 도메인 적응 성능이 향상되는가?
• RQ2 도메인 판별기에서 유도한 의존성 구조를 소스 레이블 예측기의 구조와 정렬하면 특징 정렬에 어떤 영향을 미치는가?
• RQ3 단일 다중 클래스 도메인 판별기가 클래스별 판별기보다 의미 있는 상호 클래스 관계를 더 잘 포착하는가?
• RQ4 구조 정규화가 도메인 이동 시나리오 전반에서 일반화 성능을 얼마나 향상시키는가?

주요 결과

• RADA는 ResNet-50를 사용한 비지도 도메인 적응 환경에서 Office-31 데이터셋에서 MADA 및 기타 베이스라인 방법보다 우수한 성능을 보이며 평균 정확도 87.3%를 달성한다.
• 제거 실험 결과, 구조 정규화 없이 다중 클래스 판별기만 사용해도 MADA를 초월하는 성능 향상을 보였지만, 구조 정규화를 추가함으로써 정확도가 0.9~1.1%p 더 향상되었다.
• W→A 및 D→A 도메인 적응 과제에서 RADA d→y와 RADA y→d는 각각 71.3%와 71.5%의 정확도를 기록하여 단일 다중 클래스 판별기 기반 베이스라인의 68.5% 및 70.5%를 상회한다.
• 모든 도메인 전이 방향에서 일관된 성능 향상을 보이며 도메인 이동에 대한 강건성을 입증한다.
• 제거 분석을 통해 제안된 방법이 도메인 판별기와 레이블 예측기 간의 상호 클래스 의존성 추정 격차를 크게 감소시킴을 확인하였다.
• 제안된 방법은 모듈러하며 DANN과 같은 기존의 적대적 도메인 적응 프레임워크에 아키텍처 수정 없이 쉽게 통합 가능하다.