[논문 리뷰] Open Set Domain Adaptation by Backpropagation

Kuniaki Saito, Shohei Yamamoto외 2명|arXiv (Cornell University)|2018. 04. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 32인용 수 22

한 줄 요약

이 논문은 알려지지 않은 소스 샘플이 필요하지 않은 개방 집합 도메인 적응(осDA)을 위한 새로운 적대적 학습 방법을 제안한다. 특징 생성자 모델이 알려진 타겟 샘플을 소스 특징과 정렬하거나 분류기 경계를 통해 알려지지 않은 샘플을 거부하도록 훈련되어, 알려진 클래스와 알려지지 않은 클래스를 효과적으로 분리하는 데 성공하며, 도메인 적응 및 개방 집합 인식 작업에서 기존 방법들보다 크게 뛰어난 성능을 달성한다.

ABSTRACT

Numerous algorithms have been proposed for transferring knowledge from a label-rich domain (source) to a label-scarce domain (target). Almost all of them are proposed for a closed-set scenario, where the source and the target domain completely share the class of their samples. We call the shared class the \doublequote{known class.} However, in practice, when samples in target domain are not labeled, we cannot know whether the domains share the class. A target domain can contain samples of classes that are not shared by the source domain. We call such classes the \doublequote{unknown class} and algorithms that work well in the open set situation are very practical. However, most existing distribution matching methods for domain adaptation do not work well in this setting because unknown target samples should not be aligned with the source. In this paper, we propose a method for an open set domain adaptation scenario which utilizes adversarial training. A classifier is trained to make a boundary between the source and the target samples whereas a generator is trained to make target samples far from the boundary. Thus, we assign two options to the feature generator: aligning them with source known samples or rejecting them as unknown target samples. This approach allows extracting features that separate unknown target samples from known target samples. Our method was extensively evaluated in domain adaptation setting and outperformed other methods with a large margin in most settings.

연구 동기 및 목표

• 알려지지 않은 소스 샘플이 존재하지 않는 개방 집합 도메인 적응 문제에 대응하여 설정을 더욱 현실적이고 실용적으로 만들기.
• 소스 도메인에서 알려진 알려지지 않은 샘플에 의존하지 않고도 알려지지 않은 타겟 샘플을 탐지할 수 있는 방법 개발.
• 알려진 타겟 샘플을 소스 샘플과 동시에 정렬하고 알려지지 않은 타겟 샘플을 거부함으로써 도메인 적응 성능 향상.
• 도메인 분포 변화와 제한된 레이블 데이터가 존재하는 환경에서 효과적인 개방 집합 인식을 가능하게 하기.
• 비지도 도메인 적응 및 준지도 개방 집합 인식 설정 모두에서 제안된 방법의 효과성 입증.

제안 방법

• 두 플레이어 적대적 프레임워크를 활용한다: 특징 생성자와 분류기로, 분류기는 K+1차원 출력을 예측하며, (K+1)번째 클래스는 '알 수 없음'을 의미한다.
• 분류기는 타겟 샘플이 '알 수 없음' 클래스에 높은 확률을 부여하도록 훈련되어, 알려진 특징와 알려지지 않은 특징 사이의 결정 경계를 형성한다.
• 특징 생성자는 알려지지 않은 타겟 샘플의 '알 수 없음' 클래스 확률을 최대화하도록 훈련되어, 알려진 클래스 경계에서 효과적으로 멀어지게 한다.
• 생성자는 두 가지 전략적 선택지를 가진다: 알려진 타겟 샘플을 소스 특징과 정렬하거나, '알 수 없음' 확률을 높여 알려지지 않은 샘플을 거부한다.
• 적대적 훈련을 통해 명시적인 알려지지 않은 소스 데이터가 없더라도 알려진 및 알려지지 않은 샘플을 분리하는 경계를 암묵적으로 학습한다.
• 약한 지도 학습 기반 분류기와 특징 생성을 결합하여 개방 집합 일반화를 위한 엔드 투 엔드 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 알려지지 않은 소스 샘플에 접근할 수 없는 상황에서 도메인 적응 방법이 알려지지 않은 타겟 샘플을 효과적으로 탐지할 수 있는가?
• RQ2 적대적 훈련을 어떻게 활용하여 개방 집합 도메인 적응에서 알려진 샘플 정렬과 알려지지 않은 샘플 거부를 동시에 달성할 수 있는가?
• RQ3 도메인 분포 변화와 알려지지 않은 클래스가 존재하는 상황에서 제안된 방법이 기존의 분포 매칭 및 개방 집합 인식 기법을 초월하는가?
• RQ4 생성자에서 학습된 특징이 시각적 도메인 적응 과제에서 알려지지 않은 타겟 샘플을 알려진 샘플과 효과적으로 분리하는 데 성공하는가?
• RQ5 알려진 샘플과 레이블이 없는 샘플만 존재하는 경우 준지도 개방 집합 인식에서 이 방법의 성능은 어떠한가?

주요 결과

• USPS-to-MNIST 적응 과제에서 제안된 방법은 알려진 클래스에서 92.3%의 정확도를 기록했고, 알려지지 않은 클래스 탐지에서는 97.6%를 기록하여 BP+OSVM(0.9%의 알려지지 않은 정확도)를 크게 앞서며 성능을 뛰어넘었다.
• SVHN-to-MNIST 적응 과제에서는 평균 82.4%의 정확도를 기록했으며, 알려지지 않은 클래스 탐지에서는 85.9%를 기록하여 대부분의 지표에서 OSVM 및 MMD+OSVM을 앞섰다.
• 준지도 개방 집합 인식 환경에서도 강력한 일반화 성능을 보였으며, MNIST와 SVHN에서 평균 84.5%의 정확도와 81.7%의 알려지지 않은 탐지 정확도를 기록했다.
• OSVM과 조합했을 때(Ours + OSVM), 준지도 과제에서 알려진 클래스 정확도가 96.3%에 달하여 알려지지 않은 샘플 거부를 위한 효과적인 특징 표현을 제공함을 시사했다.
• 특징 시각화 결과, 이 방법은 알려지지 않은 타겟 샘플(초록 점)을 알려진 샘플(파랑 및 빨강 점)과 효과적으로 분리했으며, BP는 알려지지 않은 샘플을 구분하지 못하는 것으로 확인되었다.
• 모든 베이스라인 대비 개방 집합 도메인 적응에서 뛰어난 성능을 보였고, 특히 알려지지 않은 샘플 거부 측면에서 BP+OSVM이 USPS-MNIST에서 단 0.7%의 알려지지 않은 정확도를 기록한 것에 비해 뛰어난 성능을 보였다.