[논문 리뷰] Partial Adversarial Domain Adaptation

Zhangjie Cao, Lijia Ma외 2명|arXiv (Cornell University)|2018. 08. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 29인용 수 28

한 줄 요약

이 논문은 부분적 도메인 적응 문제를 다루기 위해 적대적 훈련 중에 이상치 소스 클래스의 가중치를 자동으로 낮추면서 공통 레이블 공간 내에서 특징 분포를 정렬하는 새로운 프레임워크인 부분적 적대적 도메인 적응(PADA)을 제안한다. PADA는 소스 레이블 공간이 타겟 레이블 공간을 엄격하게 포함하는 상황에서 부정적 전이를 완화하고 효과적인 정적 전이를 가능하게 하여 벤치마크 데이터셋에서 최신 기법들을 능가한다.

ABSTRACT

Domain adversarial learning aligns the feature distributions across the source and target domains in a two-player minimax game. Existing domain adversarial networks generally assume identical label space across different domains. In the presence of big data, there is strong motivation of transferring deep models from existing big domains to unknown small domains. This paper introduces partial domain adaptation as a new domain adaptation scenario, which relaxes the fully shared label space assumption to that the source label space subsumes the target label space. Previous methods typically match the whole source domain to the target domain, which are vulnerable to negative transfer for the partial domain adaptation problem due to the large mismatch between label spaces. We present Partial Adversarial Domain Adaptation (PADA), which simultaneously alleviates negative transfer by down-weighing the data of outlier source classes for training both source classifier and domain adversary, and promotes positive transfer by matching the feature distributions in the shared label space. Experiments show that PADA exceeds state-of-the-art results for partial domain adaptation tasks on several datasets.

연구 동기 및 목표

• 소스 도메인이 타겟 도메인에 존재하지 않는 클래스를 포함할 경우 도메인 적응에서의 부정적 전이 문제를 해결하기 위해.
• 기존의 도메인 적대적 네트워크에서 동일한 레이블 공간을 강하게 가정하는 것을 완화하기 위해 더 현실적인 부분적 도메인 적응 시나리오를 도입하기 위해.
• 이상치 소스 클래스로부터의 부정적 전이를 동시에 감소시키고 공통 레이블 공간 내에서의 정적 전이를 향상시키는 엔드 투 엔드 딥 러닝 프레임워크를 개발하기 위해.
• 대규모 소스 도메인(예: ImageNet)에서 사전 훈련된 모델을 레이블 오버랩이 부분적인, 알려지지 않은 소규모 타겟 도메인으로 효과적으로 전이할 수 있도록 하기 위해.

제안 방법

• PADA는 분류기 및 도메인 적대자 훈련 중에 이상치 소스 클래스의 특징에 대해 자동으로 가중치를 낮추는 클래스 가중치 메커니즘을 도입한다.
• 이 방법은 소스와 타겟 특징을 구분하는 도메인 구분자를 훈련하지만, 관련이 없는 소스 클래스의 영향을 억제하기 위해 클래스별 가중치를 적용한다.
• 공통 레이블 공간 내에서 특징 분포를 적대적 훈련을 통해 정렬하여 공통 클래스에 대해 도메인 불변 표현을 촉진한다.
• 이 프레임워크는 엔드 투 엔드로 미분 가능하여 분류기, 도메인 구분자, 클래스 가중치를 함께 최적화할 수 있다.
• 이상치 클래스의 기여를 억제하기 위해 가중치를 학습하는 데 사용되는 미분 가능한 가중치 전략을 사용하여 가중치를 학습한다.
• 이 방법은 도메인 분포 불일치에 대응하여 데이터에 따라 적응하는 동적 가중치 메커니즘과 함께 도메인 적대적 훈련을 통합한다.

실험 결과

연구 질문

• RQ1 소스 레이블 공간이 타겟 레이블 공간의 초집합인 경우에 적대적 도메인 적응을 효과적으로 확장할 수 있는가?
• RQ2 타겟 클래스에 대한 사전 지식 없이 이상치 소스 클래스로부터의 부정적 전이를 어떻게 완화할 수 있는가?
• RQ3 공통 레이블 공간 내에서의 특징 정렬은 전체 도메인 매칭과 비교해 부분적 도메인 적응에서 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 가중치 메커니즘이 도메인 이동과 레이블 불일치가 존재하는 상황에서 훈련의 안정성과 수렴성을 향상시키는가?

주요 결과

• PADA는 부분적 도메인 적응 벤치마크에서 DANN 및 기타 최신 기법들을 뛰어넘으며, 타겟 클래스 수가 감소할수록 성능 향상이 두드러진다.
• ImageNet-1K → Caltech-84 작업에서 PADA는 DANN보다 상당한 정확도 향상을 보이며, 큰 레이블 공간 불일치 상황에서도 강건함을 입증한다.
• 제거 실험을 통해 클래스 가중치 메커니즘이 이상치 소스 클래스의 영향을 효과적으로 감소시킴을 확인하였으며, 낮은 테스트 오차와 안정적인 수렴을 보였다.
• t-SNE 시각화 결과, PADA는 공통 공간에서 타겟 데이터를 관련 없는 소스 클래스와 분리하면서도 올바른 소스 클래스와 정렬하는 데 성공하였다.
• PADA는 DANN 및 RTN보다 더 빠르고 안정적으로 수렴하며, 훈련 전반에 걸쳐 낮고 일관된 테스트 오차를 기록하였다.
• 타겟 클래스 수가 31개(즉, 이상치 클래스가 없음)일 경우 PADA는 DANN와 유사한 성능을 보였으며, 이는 가중치 메커니즘이 표준 도메인 적응 설정에서 성능에 해를 끼치지 않는다는 것을 검증한다.