[논문 리뷰] Mind the Gap: Enlarging the Domain Gap in Open Set Domain Adaptation

Dongliang Chang, Aneeshan Sain외 3명|arXiv (Cornell University)|2020. 03. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 38인용 수 4

한 줄 요약

이 논문은 개방형 도메인 적응(Open Set Domain Adaptation, OSDA)을 위한 새로운 상호 학습 프레임워크인 상호 분리(Mutual to Separate, MTS)를 제안한다. 이 프레임워크는 도메인 간 큰 격리 문제를 명시적으로 해결하기 위해 알려진 샘플 검출과 도메인 정렬을 분리함으로써 작용한다. 서로 다른 두 개의 전문화된 네트워크인 샘플 분리 네트워크(Sample Separation Network, SSN)와 분포 매칭 네트워크(Distribution Matching Network, DMN)를 상호 보완적으로 훈련시킴으로써, 극한의 도메인 이동 상황에서도 일반화 성능을 향상시키며, 특히 도메인 갭이 크다고 평가되는 새로 재구성된 PACS 데이터셋에서 최신 기준 성능(SOTA)을 달성한다.

ABSTRACT

Unsupervised domain adaptation aims to leverage labeled data from a source domain to learn a classifier for an unlabeled target domain. Among its many variants, open set domain adaptation (OSDA) is perhaps the most challenging, as it further assumes the presence of unknown classes in the target domain. In this paper, we study OSDA with a particular focus on enriching its ability to traverse across larger domain gaps. Firstly, we show that existing state-of-the-art methods suffer a considerable performance drop in the presence of larger domain gaps, especially on a new dataset (PACS) that we re-purposed for OSDA. We then propose a novel framework to specifically address the larger domain gaps. The key insight lies with how we exploit the mutually beneficial information between two networks; (a) to separate samples of known and unknown classes, (b) to maximize the domain confusion between source and target domain without the influence of unknown samples. It follows that (a) and (b) will mutually supervise each other and alternate until convergence. Extensive experiments are conducted on Office-31, Office-Home, and PACS datasets, demonstrating the superiority of our method in comparison to other state-of-the-arts. Code available at https://github.com/dongliangchang/Mutual-to-Separate/

연구 동기 및 목표

• 기존 OSDA 방법이 큰 도메인 갭 상황에서 성능 저하가 발생하는 문제를 해결하기 위해, 특히 현실적이고 극한의 이동 상황에서의 성능을 향상시키기 위해.
• 동시에 알려지지 않은 클래스 검출과 도메인 정렬을 수행하는 기존의 통합 모델의 한계를 조사하기 위해.
• 샘플 분리와 도메인 분포 매칭 간의 상호 보조를 가능하게 하는 이중 네트워크 프레임워크를 설계하여, 더 높은 내성성 확보를 위해.
• 새로 재구성된 벤치마크, 특히 PACS를 포함하여 극한의 도메인 이동 상황에서의 성능 평가를 위해 제안된 방법을 평가하기 위해.

제안 방법

• 이 방법은 이중 네트워크 아키텍처를 도입한다: 샘플 분리 네트워크(SSN)는 알려진 샘플과 알려지지 않은 타겟 샘플을 구분하기 위한 초평면을 학습한다.
• 분포 매칭 네트워크(DMN)는 소스 도메인과 타겟 도메인 간의 적대적 도메인 정렬을 수행하면서도, 알려지지 않은 샘플을 제외시켜 부정적 전이를 방지한다.
• 상호 학습 모듈은 SSN과 DMN 간에 교차 보조를 반복적으로 수행함으로써, 각 네트워크가 상호 반복 보완을 통해 성능을 향상시킨다.
• 프레임워크는 도메인 정렬 과정에서 알려지지 않은 타겟 샘플이 소스 및 알려진 타겟 특징에서 멀어지도록 하는 도메인 분리 손실을 사용한다.
• 소스와 타겟 특징 간의 분포 유사도를 측정하기 위해 유클리드 거리를 사용하며, 이는 이 설정에서 KL 발산보다 더 뛰어난 성능을 보인다.
• 두 개의 CNN 간의 공유되지 않은 가중치를 사용함으로써 특징 표현의 다양성을 향상시키고 상호 학습의 강도를 높인다.

실험 결과

연구 질문

• RQ1 최신 기준 OSDA 방법은 새로 재구성된 벤치마크인 PACS와 같이 도메인 갭이 점점 커지는 상황에서 어떻게 성능을 발휘하는가?
• RQ2 알려지지 않은 샘플 검출을 도메인 정렬에서 분리함으로써 개방형 도메인 적응에서 일반화 성능 향상이 가능할까?
• RQ3 두 전문화된 네트워크 간의 상호 보조가 극한의 이동 상황에서의 성능에 어떤 영향을 미치는가?
• RQ4 도메인 정렬 과정에서 알려지지 않은 샘플을 제외함으로써 부정적 전이를 방지하고 내성성을 향상시킬 수 있는가?
• RQ5 공유된 가중치 대비 비공유 가중치와 손실 함수 등의 아키텍처 선택 사항이 최종 성능에 어떤 영향을 미치는가?

주요 결과

• Office-31, Office-Home, PACS 중에서 도메인 갭이 가장 큰 것으로 평가되는 PACS 데이터셋에서, 제안된 MTS 방법은 알려지지 않은 클래스 정확도에서 53.9%의 성능을 기록하며 이전의 SOTA 방법을 크게 앞서간다.
• 초기 가중치로부터 학습을 시작한 ResNet-18 백본을 사용할 때, MTS는 OS 지표에서 10.9% 향상되었고, OS*에서는 6.6% 향상되었으며, 알려지지 않은 클래스 정확도에서는 53.9%를 달성하여 베이스라인 대비 성능 향상을 이룬다.
• 절단 실험 결과, 상호 학습, 도메인 분리 손실, 비공유 가중치, 유클리드 거리 등 각 구성 요소가 성능 향상에 기여하고 있음을 확인하였다.
• 상호 학습 없이 MTS를 적용할 경우 평균 5.2% 성능 저하가 발생하여, 상호 보조가 효과적인 지식 공유를 위해 필수적임을 입증한다.
• SOTA 기준 대비 도메인 이동이 증가하는 상황에서의 상대적 성능 저하를 40% 감소시켜, 큰 도메인 갭에 대한 뛰어난 내성성을 입증한다.
• 특징 시각화 결과, MTS는 알려진 클래스의 특징을 도메인 간에 성공적으로 정렬하면서도 알려지지 않은 특징은 서로 멀어지게 함으로써, 모델의 분류 능력이 검증됨을 확인하였다.