[논문 리뷰] Zero-shot Domain Adaptation without Domain Semantic Descriptors

Atsutoshi Kumagai, Tomoharu Iwata|arXiv (Cornell University)|2018. 07. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 39인용 수 16

한 줄 요약

이 논문은 도메인 의미 기술자에 의존하지 않고, 볼 수 없는 도메인을 위한 도메인 특화 모델을 추론하는 제로샷 도메인 적응 방법을 제안한다. 이 방법은 테스트 도메인의 비라벨링 특징 벡터 집합으로부터 학습된 잠재 도메인 벡터를 딥 세트 아키텍처와 변동형 추론을 통해 사용하며, MNIST-r, IoT, School을 포함한 여러 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose a method to infer domain-specific models such as classifiers for unseen domains, from which no data are given in the training phase, without domain semantic descriptors. When training and test distributions are different, standard supervised learning methods perform poorly. Zero-shot domain adaptation attempts to alleviate this problem by inferring models that generalize well to unseen domains by using training data in multiple source domains. Existing methods use observed semantic descriptors characterizing domains such as time information to infer the domain-specific models for the unseen domains. However, it cannot always be assumed that such metadata can be used in real-world applications. The proposed method can infer appropriate domain-specific models without any semantic descriptors by introducing the concept of latent domain vectors, which are latent representations for the domains and are used for inferring the models. The latent domain vector for the unseen domain is inferred from the set of the feature vectors in the corresponding domain, which is given in the testing phase. The domain-specific models consist of two components: the first is for extracting a representation of a feature vector to be predicted, and the second is for inferring model parameters given the latent domain vector. The posterior distributions of the latent domain vectors and the domain-specific models are parametrized by neural networks, and are optimized by maximizing the variational lower bound using stochastic gradient descent. The effectiveness of the proposed method was demonstrated through experiments using one regression and two classification tasks.

연구 동기 및 목표

• 시간, 위치, 기기 정보와 같은 도메인 의미 기술자가 필요로 하는 기존 제로샷 도메인 적응 방법의 한계를 해결하기 위해.
• 학습 단계에서 해당 도메인의 라벨이나 비라벨링 데이터가 전혀 없더라도, 볼 수 없는 도메인에 대한 효과적인 모델 적응을 가능하게 하기 위해.
• 테스트 단계에서 도메인 특징 분포로부터 직접 잠재 표현을 학습하여 도메인 특화 모델을 추론하는 방법을 개발하기 위해.
• 단일 특징 벡터로부터 도메인 특성 추론의 불안정성을 해결하기 위해 특징 벡터 집합을 활용하여 강력한 도메인 표현을 확보하기 위해.

제안 방법

• 도메인의 분리 가능하고 연속적인 표현으로서의 잠재 도메인 벡터를 도입하며, 의미 기술자 없이 학습된다.
• 변동 크기의 비라벨링 특징 벡터 집합을 처리하기 위해 딥 세트 아키텍처를 사용하여 순열 불변 입력 처리를 가능하게 한다.
• 입력 샘플의 특징 추출을 위한 하나의 신경망과, 잠재 도메인 벡터에 조건부로 모델 파라미터를 예측하기 위한 다른 하나의 신경망을 사용한다.
• 변동형 추론을 적용하여 잠재 도메인 벡터와 모델 파라미터에 대한 사후 분포를 동시에 추정하며, 변동형 하한의 확률적 경사 하강법을 통해 최적화한다.
• 신경망을 사용하여 잠재 도메인 벡터와 모델 파라미터의 사후 분포를 매개변수화하여 엔드 투 엔드 학습을 가능하게 한다.
• 베이지안 프레임워크를 활용하여, 특히 소스 도메인 데이터가 제한적인 경우의 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 도메인 의미 기술자가 전혀 없이도, 볼 수 없는 도메인에 대해 도메인 특화 모델을 효과적으로 추론할 수 있는가?
• RQ2 특징 벡터 집합에서 유도된 잠재 도메인 벡터가 단일 샘플 추론보다 도메인 특성을 더 잘 표현할 수 있는가?
• RQ3 잠재 도메인 벡터의 차원 수가 성능에 어떻게 영향을 미치는가?
• RQ4 소스 도메인의 수가 방법의 제로샷 일반화 능력에 어떻게 영향을 미치는가?

주요 결과

• 제안된 방법은 MNIST-r, IoT, School의 세 데이터셋에서 모두 최신 기술 수준의 성능을 달성했으며, 모든 테스트 시나리오에서 기존 방법을 능가했다.
• MNIST-r에서 제안된 방법은 모든 베이스라인보다 유의미하게 높은 정확도를 기록했으며, 일부 경우에서 10퍼센트 포인트 이상의 격차를 확보했다.
• IoT 데이터셋에서는 기존에 볼 수 없었던 도메인인 D-Doorbell과 1002-sec 카메라에서 성능 향상을 크게 이룩했으며, 다른 도메인들에서도 경쟁력 있는 결과를 유지했다.
• School 데이터셋에서는 모든 도메인 커버리지 비율(90%, 85%, 75%, 50%)에서 RMSE에 대해 통계적으로 유의미한 향상을 보였다.
• 잠재 도메인 벡터의 사후 분포가 도메인 특성(예: 회전 각도)에 따라 일관되게 순서가 정렬되어 있어, 방법이 의미 있는 도메인 구조를 잘 포착하고 있음을 확인했다.
• K=2에서 K=10까지 다양한 잠재 차원 수에 대해 일관된 성능 향상을 보이며, 베이지안 프레임워크의 안정성을 입증했다.