[논문 리뷰] Multi-target Unsupervised Domain Adaptation without Exactly Shared Categories

Huanhuan Yu, Menglei Hu외 1명|arXiv (Cornell University)|2018. 09. 04.

Domain Adaptation and Few-Shot Learning참고 문헌 25인용 수 37

한 줄 요약

이 논문은 원본 도메인과 대상 도메인이 정확히 동일한 카테고리를 공유하지 않는 다중 대상 시나리오를 위한 새로운 비지도 도메인 적응 프레임워크인 PA-1SmT를 제안한다. 이는 공통 모델 파라미터 사전의 적응형 희소 표현을 사용하여 원시 데이터를 공유하지 않고 도메인 간 지식을 전달하며, 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하여 NMI에서 최대 7% 향상된 성과를 보였다.

ABSTRACT

Unsupervised domain adaptation (UDA) aims to learn the unlabeled target domain by transferring the knowledge of the labeled source domain. To date, most of the existing works focus on the scenario of one source domain and one target domain (1S1T), and just a few works concern the scenario of multiple source domains and one target domain (mS1T). While, to the best of our knowledge, almost no work concerns the scenario of one source domain and multiple target domains (1SmT), in which these unlabeled target domains may not necessarily share the same categories, therefore, contrasting to mS1T, 1SmT is more challenging. Accordingly, for such a new UDA scenario, we propose a UDA framework through the model parameter adaptation (PA-1SmT). A key ingredient of PA-1SmT is to transfer knowledge through adaptive learning of a common model parameter dictionary, which is completely different from existing popular methods for UDA, such as subspace alignment, distribution matching etc., and can also be directly used for DA of privacy protection due to the fact that the knowledge is transferred just via the model parameters rather than data itself. Finally, our experimental results on three domain adaptation benchmark datasets demonstrate the superiority of our framework.

연구 동기 및 목표

• 공통 카테고리가 없는 다수의 대상 도메인으로의 한 개의 원본 도메인 적응을 다루는 아직 탐색이 부족한 비지도 도메인 적응 시나리오(1SmT)를 해결하기 위해.
• 공유 데이터나 카테고리 정렬에 의존하지 않는 지식 전달 방법을 개발하여, 오직 모델 파라미터만을 통해 개인정보 보호에 적합한 적응을 가능하게 하기 위해.
• 원본 도메인과 다수의 대상 도메인 간에서 이전 가능한 지식을 적응적으로 포착할 수 있는 공통 모델 파라미터 사전을 구축하기 위해.
• 닫힌 형식의 해와 이론적 수렴 보장을 갖춘 교차 반복 전략을 사용하여 프레임워크를 최적화하기 위해.

제안 방법

• 원본 도메인과 다수의 대상 도메인으로부터 공유 모델 파라미터 사전을 학습하는 모델 파라미터 적응 프레임워크(PA-1SmT)를 제안한다.
• 적응형 희소 표현을 사용하여 각 대상 도메인의 모델 파라미터를 공통 사전을 통해 표현함으로써 선택적 지식 전달을 가능하게 한다.
• 도메인 정렬, 희소성, 파라미터 재구성 간의 균형을 고려한 공동 최적화 목표를 도입하며, 원본 도메인과 대상 간 지식 간의 무게 조정을 위한 하이퍼파라미터를 제공한다.
• 각 하위 문제에 대해 닫힌 형식의 해를 갖는 교차 최적화 전략을 사용하여 수렴성과 계산 효율성을 보장한다.
• 데이터 공유를 피하기 위해 지식을 오직 모델 파라미터를 통해 전달하므로, 개인정보 감수성이 높은 응용 분야에 적합하다.
• 공통 사전은 반복적으로 업데이트되어, 카테고리가 다를지라도 도메인 간 공통적인 구조적 지식을 반영한다.

실험 결과

연구 질문

• RQ1 대상 도메인이 정확히 동일한 카테고리를 공유하지 않을 경우, 단일 원본 도메인에서 다수의 대상 도메인으로 지식을 효과적으로 전달할 수 있는가?
• RQ2 공통 카테고리가 없는 도메인 간에서 적응형 지식 전달을 가능하게 하는 통합 모델 파라미터 사전을 어떻게 구성할 수 있는가?
• RQ3 모델 파라미터 적응 기법이 1SmT 시나리오에서 전통적인 특징 기반 또는 인스턴스 기반 도메인 적응 기법보다 얼마나 뛰어나게 성능을 높일 수 있는가?
• RQ4 실제 데이터셋에서 심한 조명 변화와 같은 강한 도메인 이동 상황에서도 프레임워크의 성능은 어떠한가?
• RQ5 새로운 대상 도메인을 추가하면 기존 대상 도메인의 성능이 향상되는가? 만약 그렇다면 그 이유는 무엇인가?

주요 결과

• PA-1SmT는 세 가지 벤치마크 데이터셋에서 최신 기술 수준 성능을 달성하며, 1SmT 및 1S1T 설정 모두에서 기존 방법들을 능가한다.
• Y2 또는 Y3에서 다른 대상 도메인으로 전이할 경우 NMI가 최대 7% 향상되어, 카테고리 불일치 상황에서도 강력한 전이 가능성과 성능을 입증한다.
• 심한 조명 변화(예: Y4 및 Y5) 상황에서도 클러스터링 성능이 약 2% 향상되어 도메인 이동에 대한 강건성을 보여준다.
• 새로운 대상 도메인(Y1 등)을 추가하면 모든 다른 대상 도메인의 성능이 향상되며, 이는 공통 모델 파라미터 사전이 다양성 증가로 인해 유익함을 보여준다.
• 목표 함수는 단조적으로 수렴하며, NMI 값이 반복 과정 동안 안정화되어 알고리즘의 수렴성과 신뢰성을 확인한다.