[논문 리뷰] Domain Separation Networks

Konstantinos Bousmalis, George Trigeorgis외 3명|arXiv (Cornell University)|2016. 08. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 31인용 수 588

한 줄 요약

DSN은 비지도 도메인 적응을 위해 비공개(도메인 특화) 표현과 공유 표현을 명시적으로 모델링하고, 재구성 및 직교성 손실과 유사성 가이던스를 결합하여 이전 방법들보다 성능을 능가한다.

ABSTRACT

The cost of large scale data collection and annotation often makes the application of machine learning algorithms to new tasks or datasets prohibitively expensive. One approach circumventing this cost is training models on synthetic data where annotations are provided automatically. Despite their appeal, such models often fail to generalize from synthetic to real images, necessitating domain adaptation algorithms to manipulate these models before they can be successfully applied. Existing approaches focus either on mapping representations from one domain to the other, or on learning to extract features that are invariant to the domain from which they were extracted. However, by focusing only on creating a mapping or shared representation between the two domains, they ignore the individual characteristics of each domain. We suggest that explicitly modeling what is unique to each domain can improve a model's ability to extract domain-invariant features. Inspired by work on private-shared component analysis, we explicitly learn to extract image representations that are partitioned into two subspaces: one component which is private to each domain and one which is shared across domains. Our model is trained not only to perform the task we care about in the source domain, but also to use the partitioned representation to reconstruct the images from both domains. Our novel architecture results in a model that outperforms the state-of-the-art on a range of unsupervised domain adaptation scenarios and additionally produces visualizations of the private and shared representations enabling interpretation of the domain adaptation process.

연구 동기 및 목표

• 주석 비용 절감을 위해 합성 데이터와 도메인 적응을 활용하는 동기를 제시한다.
• 개인적(도메인 특화)과 공유적(도메인 불변) 두 서브스페이스 표현을 제안한다.
• 소스 도메인에서의 작업 손실과 재구성 손실 및 직교성 손실로 표현을 분리해 학습한다.
• 적응 중 개인적/공유 구성요소의 시각화 및 해석 가능성을 enable한다.

제안 방법

• 도메인당 공유 인코더 Ec와 개인 인코더 Ep를 도입한다.
• Ec와 Ep 표현으로부터 입력을 재구성하기 위해 공유 디코더 D를 사용한다.
• 개인 구성요소와 공유 구성요소 간 직교성을 강조하기 위한 차이 손실(L_difference)을 도입한다.
• 공유 표현을 도메인 간 정렬시키기 위한 유사성 손실(L_similarity)을 DANN(GRL 포함) 또는 MMD를 사용해 적용한다.
• 소스 라벨의 작업 손실과 두 도메인 모두에 대한 재구성 손실로 학습하며, 워밍업 기간 후에 도메인 적응 손실을 적용한다.
• 다양한 도메인 적응 시나리오에서 동일한 아키텍처와 학습 루틴을 공유한다.

실험 결과

연구 질문

• RQ1 도메인-개인화 및 도메인-공유 표현을 명시적으로 모델링하는 것이 비지도 도메인 적응을 어떻게 개선할 수 있는가?
• RQ2 개인-공유 분할과 재구성 손실이 기존 매핑이나 공유 표현 방법보다 도메인 간 일반화를 더 잘 이끌 수 있는가?
• RQ3 어느 유사성 목표(DANN 대 MMD)가 DSN 내에서 도메인 간 정렬을 가장 잘 촉진하는가?
• RQ4 적응 중 DSN이 개인 대 공유 표현의 해석 가능한 시각화를 제공할 수 있는가?

주요 결과

• DSN은 DANN 유사성 손실을 사용했을 때 CORAL, MMD 및 표준 DANN 기반선보다 다양한 비지도 도메인 적응 작업에서 더 우수한 성능을 보인다.
• 아블레이션에서 차이(직교성) 손실을 제거하면 작업 간 성능이 저하된다.
• 스케일 불변 재구성을 표준 L2 MSE로 대체하면 성능이 감소하여 제안된 재구성 손실의 유효성을 확인한다.
• DSN은 MNIST→MNIST-M, Synth Digits→SVHN, SVHN→MNIST, 및 Synth Signs→GTSRB 과제에서 강한 정확도를 달성한다.
• DSN은 Synth Objects→LINEMOD 시나리오에서도 경쟁력 있는 포즈 추정 결과를 산출한다.