[논문 리뷰] Known-class Aware Self-ensemble for Open Set Domain Adaptation

Qing Lian, Wen Li외 2명|arXiv (Cornell University)|2019. 05. 03.

Domain Adaptation and Few-Shot Learning참고 문헌 25인용 수 8

한 줄 요약

이 논문은 소스 도메인과 타겟 도메인 간 부분적인 레이블 공간 겹침을 다루는 오픈 세트 도메인 적응을 위한 새로운 방법인 Known-class Aware Self-ensemble (KASE)을 제안한다. KASE는 알려진 클래스를 식별하는 Known-class Aware Recognition (KAR) 모듈과 알려진 클래스 가능성에 기반해 적응 손실을 재가중하는 Known-class Aware Adaptation (KAA) 모듈을 통합하여, Syn2Real-O, Office-31, Digits 데이터셋에서 최신 기술 대비 뛰어난 성능을 달성한다.

ABSTRACT

Existing domain adaptation methods generally assume different domains have the identical label space, which is quite restrict for real-world applications. In this paper, we focus on a more realistic and challenging case of open set domain adaptation. Particularly, in open set domain adaptation, we allow the classes from the source and target domains to be partially overlapped. In this case, the assumption of conventional distribution alignment does not hold anymore, due to the different label spaces in two domains. To tackle this challenge, we propose a new approach coined as Known-class Aware Self-Ensemble (KASE), which is built upon the recently developed self-ensemble model. In KASE, we first introduce a Known-class Aware Recognition (KAR) module to identify the known and unknown classes from the target domain, which is achieved by encouraging a low cross-entropy for known classes and a high entropy based on the source data from the unknown class. Then, we develop a Known-class Aware Adaptation (KAA) module to better adapt from the source domain to the target by reweighing the adaptation loss based on the likeliness to belong to known classes of unlabeled target samples as predicted by KAR. Extensive experiments on multiple benchmark datasets demonstrate the effectiveness of our approach.

연구 동기 및 목표

• 소스 도메인과 타겟 도메인이 일부 클래스만 공유하는 오픈 세트 도메인 적응의 과제를 해결하기 위해.
• 동일한 레이블 공간을 가정하는 전통적인 도메인 적응 방법의 실패를 극복하기 위해.
• 타겟 도메인에서 알려진 클래스와 미지 클래스를 구분하여 모델의 강건성을 향상시키기 위해.
• 알려진 클래스에 속할 가능성이 높은 타겟의 무라벨 샘플을 기반으로 적응 손실을 재가중하여 도메인 적응 성능을 향상시키기 위해.
• 부분적인 클래스 겹침과 미지 클래스가 존재하는 현실적인 시나리오에서 더 나은 성능을 달성하기 위해.

제안 방법

• KARE는 알려진 클래스에 대해 교차 엔트로피를 최소화하고, 미지 클래스에 대해 엔트로피를 최대화하는 이중 손실을 사용한다.
• 알려진 클래스 인식(KAR) 모듈은 예측된 신뢰도와 엔트로피를 기반으로 타겟 샘플을 알려진 또는 미지 클래스로 분류한다.
• 알려진 클래스 적응(KAA) 모듈은 KAR에서 도출된 연속 점수를 사용해 적응 손실을 재가중하여 알려진 클래스 샘플을 우선시한다.
• KASE는 KAR 및 KAA 모듈의 엔드 투 엔드 학습을 가능하게 하는 자기 앙상블 프레임워크에 기반한다.
• 공유 백본(예: AlexNet)에서 유도된 특징 표현을 활용하고, t-SNE 시각화를 통해 특징 분포의 이동을 분석한다.
• 이중 가중치 방식을 대체로 연속적인 재가중 전략을 도입하여, 미지 클래스 타겟 샘플이 초래하는 부정적 영향을 줄인다.

실험 결과

연구 질문

• RQ1 오픈 세트 도메인 적응 환경에서 타겟 도메인에서 알려진 클래스와 미지 클래스를 효과적으로 구분할 수 있는가?
• RQ2 알려진 클래스 가능성에 기반해 적응 손실을 재가중하는 것이 도메인 적응 성능 향상에 기여하는가?
• RQ3 제안된 KASE 방법은 레이블 공간이 부분적으로 겹치는 경우 도메인 분포의 이동을 어떻게 다루는가?
• RQ4 KAR 및 KAA 모듈의 통합이 기존 오픈 세트 및 클로즈드 세트 도메인 적응 방법을 초월하는가?
• RQ5 연속적인 재가중 전략은 미지 클래스 샘플로 인한 부정적 전이를 어느 정도 완화하는가?

주요 결과

• Syn2Real-O 데이터셋에서 A→R 설정에서 KASE는 87.0%의 정확도를 기록하여 이전 최신 기술인 86.9%를 초월했다.
• Office-31에서 KASE는 모든 6개 도메인 전이 설정에서 평균 정확도 81.8%를 기록하여 이전 방법들을 압도했다.
• Digits 데이터셋에서 KASE는 평균 정확도 84.8%를 달성하여 AODA에서 보고한 최신 기술인 82.8%를 뛰어넘었다.
• t-SNE를 통한 시각화 결과, 알려진 클래스 특징는 잘 분리되고 군집되어 있었고, 미지 클래스 샘플은 더 높은 엔트로피와 산산이 흩어진 패턴을 보였다.
• 절단 실험 결과, KAR의 미지 클래스에 대한 엔트로피 최대화 전략이 일반화 능력을 크게 향상시키고 오분류를 감소시켰다.
• KAA에서 사용된 연속적 재가중 전략은 특히 D→A 및 W→A와 같은 고도의 도메인 이동 설정에서 더 안정적이고 효과적인 적응을 이끌어냈다.