[논문 리뷰] $d$-SNE: Domain Adaptation using Stochastic Neighborhood Embedding

Xu Xiang, Xiong Zhou외 3명|arXiv (Cornell University)|2019. 05. 29.

Domain Adaptation and Few-Shot Learning인용 수 9

한 줄 요약

이 논문은 $d$-SNE를 제안하며, min-max 최적화를 통해 수정된-Hausdorff 거리와 함께 확률적 근접성 임bedding을 사용하여 도메인 불변 잠재 공간을 학습하는 새로운 엔드 투 엔드 도메인 적응 방법이다. 이는 Office-31 및 VisDA-C와 같은 다양한 데이터셋에서 클래스당 레이블이 3~10개뿐인 소수의 샘플로도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Deep neural networks often require copious amount of labeled-data to train their scads of parameters. Training larger and deeper networks is hard without appropriate regularization, particularly while using a small dataset. Laterally, collecting well-annotated data is expensive, time-consuming and often infeasible. A popular way to regularize these networks is to simply train the network with more data from an alternate representative dataset. This can lead to adverse effects if the statistics of the representative dataset are dissimilar to our target. This predicament is due to the problem of domain shift. Data from a shifted domain might not produce bespoke features when a feature extractor from the representative domain is used. In this paper, we propose a new technique ($d$-SNE) of domain adaptation that cleverly uses stochastic neighborhood embedding techniques and a novel modified-Hausdorff distance. The proposed technique is learnable end-to-end and is therefore, ideally suited to train neural networks. Extensive experiments demonstrate that $d$-SNE outperforms the current states-of-the-art and is robust to the variances in different datasets, even in the one-shot and semi-supervised learning settings. $d$-SNE also demonstrates the ability to generalize to multiple domains concurrently.

연구 동기 및 목표

• 레이블이 극도로 제한된 소수의 샘플을 가진 타겟 데이터에서 도메인 이탈 문제를 해결하기 위해.
• 원천 도메인과 타겟 도메인 간의 클래스 분류 가능성을 유지하면서 도메인 불변 잠재 공간을 학습하기 위해.
• 확률적 근접성 임bedding과 대간격 근접 이웃 학습을 활용하여 저자료 환경에서의 일반화 성능을 향상시키기 위해.
• 분류기 재학습이나 도메인 특화 미세조정이 필요 없이 딥 네ural 네트워크의 엔드 투 엔드 학습을 가능하게 하기 위해.
• 반감도 및 다중 도메인 일반화 설정으로의 확장 가능성을 보장하며, 다양한 데이터 분포에서의 강건성을 입증하기 위해.

제안 방법

• 메서드는 잠재 공간 내에서 도메인 간 특징 정렬을 측정하기 위해 수정된-Hausdorff 거리 측도를 사용하여 도메인 간 산란을 최소화한다.
• 동시에 내부 클래스 간 거리 최소화와 외부 클래스 간 간격 최대화를 목표로 하는 min-max 설정을 사용하여 분류 가능한 특징 학습을 촉진한다.
• SNE와 유사한 확률적 근접성 임bedding 원리를 기반으로 하지만, 레이블이 있는 타겟 데이터를 고려한 감독된 도메인 적응에 적합하게 수정되었다.
• 학습 중 특징 추출기와 도메인 정렬 손실을 함께 최적화할 수 있도록 학습 가능한 엔드 투 엔드 프레임워크를 설계하였다.
• 학습 중에 타겟 도메인의 비레이블 샘플을 임베딩 공간에 통합하여 반감도 적응을 지원한다.
• 추가 학습 없이도 여러 도메인으로 일반화 가능하며, 도메인 일반화 능력을 입증한다.

실험 결과

연구 질문

• RQ1 저자료 환경에서 감독된 도메인 적응에 대해 확률적 근접성 임bedding을 효과적으로 적용할 수 있는가?
• RQ2 min-max 설정에서의 수정된-Hausdorff 거리가 도메인 정렬 및 특징 분류 가능성을 어떻게 향상시키는가?
• RQ3 소수의 타겟 레이블 샘플만으로도 $d$-SNE가 소수의 샘플 및 반감도 도메인 적응에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 $d$-SNE는 재학습 없이도 여러 도메인으로 일반화되며 도메인 일반화 능력을 입증하는가?
• RQ5 소수의 레이블 샘플만 존재할 경우, $d$-SNE는 무 supervision 및 supervision 기반 베이스라인과 비교해 어떻게 성능을 내는가?

주요 결과

• 클래스당 3개의 레이블 샘플만 있는 Office-31 데이터셋에서, ResNet-101를 사용한 $d$-SNE는 75.51%의 정확도를 기록하여 모든 최신 기술 수준의 베이스라인을 능가했다.
• A→W 및 D→A 도메인 이탈이 어려운 상황에서, $d$-SNE는 CCSA 및 FADA보다 뚜렷한 성능 격차를 보였다.
• 클래스당 10개의 레이블 샘플이 있는 VisDA-C에서, $d$-SNE는 감독 설정에서 80.66%의 정확도를 기록하여 CCSA의 76.89%를 초월했다.
• 반감도 확장 버전을 통해 $d$-SNE는 VisDA-C에서 86.15%의 정확도를 달성했으며, 모든 비레이블 타겟 데이터를 사용한 무 supervision G2A 방법조차도 능가했다.
• t-SNE 시각화 결과는 $d$-SNE가 잠재 공간에서 원천 및 타겟 특징을 성공적으로 정렬하면서도 클래스 간 분리성을 유지함을 확인했다.
• 추가적인 도메인 특화 적응 없이도 다양한 데이터셋 및 설정(일방적 학습, 반감도 학습 포함)에서 강건한 성능을 보였으며, 이는 $d$-SNE의 강력한 일반화 능력을 입증한다.