[논문 리뷰] Open Set Domain Adaptation: Theoretical Bound and Algorithm

Zhen Fang, Jie Lü외 3명|arXiv (Cornell University)|2019. 07. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 50인용 수 10

한 줄 요약

이 논문은 개방 세트 도메인 적응(UOSDA)를 위한 최초의 이론적 학습 경계를 제안하며, 미지 클래스에서의 위험을 측정하기 위해 '개방 세트 차이(open set difference)'라는 새로운 개념을 도입한다. 이 경계를 바탕으로, 개방 세트 차이를 최소화하는 분포 정렬 알고리즘인 DAOD를 개발하여, 레이블이 없는 데이터를 사용함에도 불구하고 미지 타겟 샘플을 효과적으로 식별함으로써 벤치마크 데이터셋에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

The aim of unsupervised domain adaptation is to leverage the knowledge in a labeled (source) domain to improve a model's learning performance with an unlabeled (target) domain -- the basic strategy being to mitigate the effects of discrepancies between the two distributions. Most existing algorithms can only handle unsupervised closed set domain adaptation (UCSDA), i.e., where the source and target domains are assumed to share the same label set. In this paper, we target a more challenging but realistic setting: unsupervised open set domain adaptation (UOSDA), where the target domain has unknown classes that are not found in the source domain. This is the first study to provide a learning bound for open set domain adaptation, which we do by theoretically investigating the risk of the target classifier on unknown classes. The proposed learning bound has a special term, namely open set difference, which reflects the risk of the target classifier on unknown classes. Further, we present a novel and theoretically guided unsupervised algorithm for open set domain adaptation, called distribution alignment with ppen difference (DAOD), which is based on regularizing this open set difference bound. The experiments on several benchmark datasets show the superior performance of the proposed UOSDA method compared with the state-of-the-art methods in the literature.

연구 동기 및 목표

• 원천 도메인과 타겟 도메인 간에 공통 레이블 세트가 존재한다고 가정하는 기존 비지도 도메인 적응 방법의 한계를 해결하기 위해.
• 원천 도메인에 존재하지 않는 타겟 도메인의 미지 클래스를 포함하는 현실적이지만 도전적인 설정인 비지도 개방 세트 도메인 적응(UOSDA)에 도전하기 위해.
• 미지 클래스에서의 위험을 명시적으로 고려하는 이론적 기반을 제공하기 위해, UOSDA를 위한 학습 경계를 유도하기 위해.
• 유도된 경계를 활용하여 일반화 성능 향상과 악성 전이 감소를 위한 원칙적인, 이론적으로 이끌어진 알고리즘을 설계하기 위해.

제안 방법

• 개방 세트 차이라고 불리는 새로운 항을 포함한 UOSDA를 위한 이론적 학습 경계를 유도하며, 이는 타겟 분류기의 미지 클래스에서의 위험을 반영한다.
• 개방 세트 차이 항을 최소화하는 DAOD(Distribution Alignment with Open Difference) 알고리즘을 제안하며, 분포 정렬 과정에서 이를 적용한다.
• 도메인 정렬을 통한 분포 차이 최소화와 개방 세트 차이 정규화를 통합하여, 원천 및 타겟 도메인을 동시에 정렬하면서 동시에 미지 샘플을 식별한다.
• 임bedding 분포 기반으로 알려진 샘플과 미지 샘플을 구분하기 위해 ${\rm OSNN}^{cv}$를 통한 신뢰도 기반 임계값 설정 메커니즘을 사용한다.
• 과적합 방지를 위해 다각형 정규화와 가중치 감소(표현식 $\sigma$를 통해)를 통합하여 일반화 성능을 향상시킨다.
• 도메인 정렬, 개방 세트 차이, 정규화 항을 균형 있게 조정하는 다성분 손실 함수를 사용하여 알고리즘을 최적화한다.

실험 결과

연구 질문

• RQ1 비지도 개방 세트 도메인 적응을 위한 이론적 일반화 경계는 무엇이며, 닫힌 세트 도메인 적응 경계와 어떻게 다를까?
• RQ2 비지도 설정에서 타겟 도메인의 미지 클래스에서의 위험는 어떻게 공식적으로 측정하고 최소화할 수 있을까?
• RQ3 이론적으로 기반을 둔 알고리즘을 설계하여, 원천 및 타겟 도메인 분포를 정렬하면서도 효과적으로 타겟 도메인의 미지 샘플을 식별할 수 있을까?
• RQ4 개방 세트 차이, 분포 차이, 정규화 항 중에서 어느 것이 강력한 UOSDA 성능 달성에 가장 기여하는가?

주요 결과

• DAOD는 여러 벤치마크 데이터셋에서 최신 기술(SOTA) 성능을 달성하며, 기존 SOTA 방법들을 능가한다.
• 개방 세트 차이 항은 미지 타겟 샘플을 식별하는 데 필수적이며, 이 항의 기여를 제거하면 성능이 크게 떨어진다.
• 알고리즘은 빠른 수렴을 보이며, 10회 이터레이션 내에 안정된 성능을 달성하여 높은 학습 효율성을 보인다.
• 하이퍼파rameter 민감도 분석 결과, 최적의 성능는 $\alpha \approx 0.3$ 및 $\gamma \approx 0.3$에서 달성되며, $\alpha > 0.4$ 또는 $\gamma < 0.15$일 경우 성능이 급격히 저하된다.
• 다각형 정규화($\rho$)는 성능에 거의 기여하지 않으며, 5에서 50의 값조차도 약간 성능 저하를 유발하지만, 확장된 실험에서는 여전히 필요하다.
• 가중치 감소($\sigma$)는 과적합을 방지하기 위해 필수적이며, $\sigma = 0$일 경우 성능이 크게 저하된다.