[논문 리뷰] Discriminative Adversarial Domain Adaptation

Hui Tang, Kui Jia|arXiv (Cornell University)|2019. 11. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 70인용 수 5

한 줄 요약

이 논문은 특성과 레이블의 공통 분포를 도메인 간에 명시적으로 정렬할 수 있도록 통합 분류기와 함께 카테고리 예측과 도메인 예측 간의 상호 억제 관계를 강제하는 새로운 적대적 학습 방법인 Discriminative Adversarial Domain Adaptation(DADA)을 제안한다. DADA는 벤치마크 데이터셋에서 폐쇄형, 부분형, 개방형 도메인 적응 설정 모두에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Given labeled instances on a source domain and unlabeled ones on a target domain, unsupervised domain adaptation aims to learn a task classifier that can well classify target instances. Recent advances rely on domain-adversarial training of deep networks to learn domain-invariant features. However, due to an issue of mode collapse induced by the separate design of task and domain classifiers, these methods are limited in aligning the joint distributions of feature and category across domains. To overcome it, we propose a novel adversarial learning method termed Discriminative Adversarial Domain Adaptation (DADA). Based on an integrated category and domain classifier, DADA has a novel adversarial objective that encourages a mutually inhibitory relation between category and domain predictions for any input instance. We show that under practical conditions, it defines a minimax game that can promote the joint distribution alignment. Except for the traditional closed set domain adaptation, we also extend DADA for extremely challenging problem settings of partial and open set domain adaptation. Experiments show the efficacy of our proposed methods and we achieve the new state of the art for all the three settings on benchmark datasets.

연구 동기 및 목표

• 기존 도메인 적응 방법이 모드 붕괴로 인해 도메인 간 특성과 레이블의 공통 분포를 정렬하지 못하는 한계를 해결한다.
• 개별적인 작업 분류기와 도메인 분류기 설계로 인해 효과적인 도메인 불변 표현 학습이 제한되는 문제를 해결한다.
• 특성 수준과 카테고리 수준에서 모두 공통 분포 정렬을 촉진하는 통합된 적대적 프레임워크를 개발한다.
• 레이블 공간이 완전히 겹치지 않는 도전적인 설정, 예를 들어 부분형 및 개방형 도메인 적응에 대해 방법을 확장한다.
• 폐쇄형, 부분형, 개방형 도메인 적응의 세 가지 설정 모두에서 최신 기술 성능을 달성한다.

제안 방법

• 각 입력 인스턴스에 대해 레이블과 도메인을 동시에 예측하는 통합된 카테고리 및 도메인 분류기를 제안한다.
• 각 입력에 대해 카테고리 예측과 도메인 예측 간의 상호 억제 관계를 강제하는 새로운 적대적 목적 함수를 설계한다.
• 도메인 분별자를 훈련시켜 도메인을 구분하도록 하고, 특성 추출기를 최적화하여 이를 혼란스럽게 만들도록 하는 최소-최대 게임으로 훈련을 설정함으로써 도메인 불변 특성을 촉진한다.
• 부분 도메인 적응에서 원격 소스 인스턴스의 악영향을 줄이기 위해 DADA-P에 카테고리 수준의 가중치 기반 메커니즘을 도입한다.
• 공통 레이블 공간에서의 공통 분포 정렬과 알려지지 않은 타겟 클래스의 분류를 균형 잡는 방식으로 개방형 도메인 적응을 위한 DADA-O를 개발한다.
• 라벨이 부여된 소스 데이터에서의 분류 훈련과 소스 및 타겟 데이터에서의 적대적 훈련을 번갈아 수행하는 하이브리드 훈련 방식을 사용하며, 모델 안정성을 유지하기 위해 철저한 초모수 튜닝을 수행한다.

실험 결과

연구 질문

• RQ1 카테고리 예측과 도메인 예측 간의 상호 억제를 가진 통합 분류기가 도메인 적응에서 공통 분포 정렬을 향상시키는가?
• RQ2 기존 최신 기술(SOTA) 방법과 비교할 때 제안된 DADA 방법은 폐쇄형 도메인 적응에서 어떻게 성능을 내는가?
• RQ3 DADA 프레임워크는 타겟 레이블 공간이 소스의 부분집합인 부분 도메인 적응에 효과적으로 확장될 수 있는가?
• RQ4 DADA는 소스 레이블 공간이 타겟의 부분집합인 개방형 도메인 적응에 적응될 수 있는가?
• RQ5 실제로는 제안된 적대적 목적 함수의 안정성과 효과성을 보장하는 훈련 체계는 무엇인가?

주요 결과

• DADA는 여러 벤치마크 데이터셋에서 폐쇄형, 부분형, 개방형 도메인 적응 설정 모두에서 최신 기술 성능을 달성한다.
• Office-31 데이터셋에서 DADA는 Amazon→Dslr 설정에서 82.7%의 정확도를 기록하여 이전 최신 기술 방법을 초월한다.
• Syn2Real 벤치마크에서 DADA는 Real→Syn 설정에서 83.9%의 정확도를 달성하여 도메인 이동에 대한 강력한 일반화 능력을 보여준다.
• 개방형 도메인 적응의 경우, DADA-O는 Office-31 데이터셋에서 0.1 가중치 계수로 94.4%의 정확도를 기록하여 알려지지 않은 클래스에 대한 강건성을 보여준다.
• 절단 분석 결과, 훈련 중에 ps/ys > 0.5 조건을 유지하는 것이 성능에 매우 중요하며, 제안된 훈련 체계가 이 조건을 효과적으로 유지함을 확인하였다.
• 훈련 동역학 분석 결과, 적대적 훈련이 타겟 데이터의 테스트 오차를 지속적으로 감소시키며, 핵심 조건을 충족시키는 데 실패율이 낮을수록 성능 향상이 관찰되었다.