[논문 리뷰] Weakly Supervised Open-set Domain Adaptation by Dual-domain Collaboration

Shuhan Tan, Jiening Jiao외 1명|arXiv (Cornell University)|2019. 04. 30.

Domain Adaptation and Few-Shot Learning참고 문헌 50인용 수 5

한 줄 요약

이 논문은 약한 지도 학습(open-set domain adaptation)을 위한 새로운 방법인 협업적 분포 정렬(Collaborative Distribution Alignment, CDA)을 제안한다. CDA는 두 개의 부분적으로 레이블이 붙은 도메인 간에 협업적으로 특징 분포를 정렬하고, 알려진 클래스의 샘플을 분류하며, 알려지지 않은 클래스의 이방자(outliers)를 탐지할 수 있도록 한다. 도메인별 특징 변환, 마진 최대화, 분포 정렬을 공동으로 최적화하여, Office 및 인물 재식별 벤치마크에서 최신 기술 수준의 성능을 달성하며, 정확도와 알려지지 않은 샘플에 대한 강건성에서 뚜렷한 향상을 보였다.

ABSTRACT

In conventional domain adaptation, a critical assumption is that there exists a fully labeled domain (source) that contains the same label space as another unlabeled or scarcely labeled domain (target). However, in the real world, there often exist application scenarios in which both domains are partially labeled and not all classes are shared between these two domains. Thus, it is meaningful to let partially labeled domains learn from each other to classify all the unlabeled samples in each domain under an open-set setting. We consider this problem as weakly supervised open-set domain adaptation. To address this practical setting, we propose the Collaborative Distribution Alignment (CDA) method, which performs knowledge transfer bilaterally and works collaboratively to classify unlabeled data and identify outlier samples. Extensive experiments on the Office benchmark and an application on person reidentification show that our method achieves state-of-the-art performance.

연구 동기 및 목표

• 기존 도메인 적응 기법이 완전히 레이블이 붙은 소스 도메인을 전제로 하는 실용적 제약를 해결하기 위해, 완전히 레이블이 붙지 않은 두 도메인 간 지식 전이를 가능하게 한다.
• 모든 도메인에 알려지지 않은 클래스 샘플이 존재하는 오픈-세트 환경으로 도메인 적응을 확장하여, 알려진 클래스의 분류와 함께 알려지지 않은 클래스의 탐지를 요구한다.
• 완전히 레이블이 붙은 소스 도메인에 의존하지 않고, 특징 분포 정렬, 내부 클래스 변동 감소, 알려진 클래스와 알려지지 않은 클래스의 분리 기반 협업 프레임워크를 개발한다.
• 대규모 레이블이 없는 실세계 응용 분야(예: 제한된 애너테이션을 가진 인물 재식별)에서 일반화 능력과 강건성을 향상시킨다.

제안 방법

• 각 도메인의 특징을 공유 잠재 공간으로 매핑하기 위한 도메인별 특징 변환을 사용하는 이중 도메인 협업 프레임워크를 제안한다.
• 경계 분포 정렬, 조건부 분포 정렬, 내부 클래스의 밀도 강화, 알려지지 않은 클래스 분리 기반의 공동 최적화 목표를 도입한다.
• 반복 학습 중 저신뢰도 예측을 걸러내기 위해 엔트로피 기반 이방자 탐지 전략을 활용한 의사 레이블링 기법을 적용한다.
• 학습 가능한 초매개변수를 가진 다중 구성 요소 손실 함수를 사용하여 분포 정렬, 클래스 밀도 강화, 알려지지 않은 클래스 마진 최대화 간의 균형을 조절한다.
• 이중 매핑을 통한 반복적 개선을 통해 오픈-세트 조건에서 특징의 구별 능력과 강건성을 향상시킨다.
• 지Known 클래스 분류와 알려지지 않은 클래스 탐지 간의 동적 균형을 유지하는 적응형 최적화를 통한 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 완전히 레이블이 붙지 않은 소스 도메인 없이, 두 부분적으로 레이블이 붙은 도메인이 협업하여 분류 성능과 알려지지 않은 클래스 탐지 능력을 향상시킬 수 있는가?
• RQ2 두 도메인 모두 알려지지 않은 클래스 샘플과 제한된 레이블 데이터를 가진 상황에서 특징 분포 정렬을 어떻게 향상시킬 수 있는가?
• RQ3 협업 환경에서 알려진 클래스 분류, 도메인 정렬, 알려지지 않은 클래스 분리 기반의 공동 최적화가 어떤 영향을 미치는가?
• RQ4 공유 변환 대비 이중 도메인 매핑이 적응 성능과 강건성 향상에 어떤 영향을 미치는가?
• RQ5 엔트로피 기반 임계치를 통한 이방자 탐지 방식이 오픈-세트 도메인 적응에서 모델의 일반화 능력을 얼마나 향상시키는가?

주요 결과

• Office 벤치마크에서 CDA는 다섯 가지 도메인 간 전이 작업 전반에서 최신 기술 수준의 정확도를 달성하였으며, 5↔6 작업에서 최고 성능로 61.5%를 기록했다.
• 내부 클래스 집합 구성 요소를 제거했을 때 성능 저하가 38.4% 감소하여, 이 구성 요소가 모델의 강건성에 핵심적인 역할을 한다는 것을 입증했다.
• 알려지지 않은 클래스 분리 구성 요소를 제거했을 때 5↔6 작업에서 정확도가 11.7% 감소하여, 오픈-세트 탐지에서 이 요소의 중요성을 확인했다.
• CDA는 λM ∈ [0.001,10], λU ∈ [0.01,1], λG ∈ [0.5,10] 범위 내에서 다양한 하이퍼파라미터 설정에서도 강력한 성능 유지를 보이며, 하이퍼파라미터 선택에 대한 강건성을 입증했다.
• 엔트로피 기반 임계치를 통한 이방자 탐지 방식은 5↔6 작업에서 정확도를 최대 8.8% 향상시켜, 노이즈가 많은 의사 레이블을 걸러내는 데 효과적이라는 것을 입증했다.
• 이중 매핑은 모든 작업에서 공유 변환 대비 4.1–7.2% 높은 성능을 기록하여, 도메인별 적응이 특징 학습을 향상시킨다는 것을 시사한다.