[논문 리뷰] Learning Factorized Representations for Open-set Domain Adaptation

Mahsa Baktashmotlagh, Masoud Faraki외 2명|arXiv (Cornell University)|2018. 05. 31.

Domain Adaptation and Few-Shot Learning참고 문헌 26인용 수 12

한 줄 요약

이 논문은 FRODA를 제안하며, 그룹 스파arsity를 사용하여 특징을 공유(알려진 클래스) 및 개인(알 수 없는 클래스) 하위공간으로 분해함으로써, 동시에 알 수 없는 샘플을 탐지하고 알려진 클래스에 대한 분류 가능한 공유 표현을 학습할 수 있는 새로운 프레임워크를 제공한다. 표준 벤치마크에서 이전 최고 성능(SOTA) 방법들을 능가하며, 속도 면에서 10배 이상 빠르다.

ABSTRACT

Domain adaptation for visual recognition has undergone great progress in the past few years. Nevertheless, most existing methods work in the so-called closed-set scenario, assuming that the classes depicted by the target images are exactly the same as those of the source domain. In this paper, we tackle the more challenging, yet more realistic case of open-set domain adaptation, where new, unknown classes can be present in the target data. While, in the unsupervised scenario, one cannot expect to be able to identify each specific new class, we aim to automatically detect which samples belong to these new classes and discard them from the recognition process. To this end, we rely on the intuition that the source and target samples depicting the known classes can be generated by a shared subspace, whereas the target samples from unknown classes come from a different, private subspace. We therefore introduce a framework that factorizes the data into shared and private parts, while encouraging the shared representation to be discriminative. Our experiments on standard benchmarks evidence that our approach significantly outperforms the state-of-the-art in open-set domain adaptation.

연구 동기 및 목표

• 폐쇄세트 도메인 적응의 한계를 해결하기 위해, 소스 및 타겟 클래스 세트가 동일하다는 가정이 아닌, 더 현실적인 오픈세트 시나리오에서 알려지지 않은 클래스가 타겟 도메인에 등장할 수 있도록 인식 기능을 제공한다.
• 라벨이 필요 없이 자동으로 알려지지 않은 타겟 샘플을 탐지하고 제거할 수 있는 방법을 개발함으로써, 실세계 적용에서의 강건성을 향상시킨다.
• 알려진 클래스를 위한 분류 가능한 공유 표현과 알려지지 않은 타겟 샘플을 위한 개인 하위공간을 동시에 학습함으로써, 특징 정렬 및 분류 성능을 향상시킨다.
• 기존의 오픈세트 도메인 적응 방법, 특히 [5]의 반복적 접근 방식보다 더 빠른 추론 및 훈련을 달성하기 위해 효율적인 최적화 프레임워크를 설계한다.

제안 방법

• 이 방법은 알려진 클래스를 위한 공유 하위공간과 알려지지 않은 클래스를 위한 타겟 도메인 전용 개인 하위공간으로 소스 및 타겟 특징을 분해한다.
• 재구성 계수에 L1 정규화를 적용하여 그룹 스파arsity를 강제함으로써, 각 타겟 샘플이 오직 하나의 하위공간(공유 또는 개인)에 의해만 표현되도록 보장하여, 알 수 없는 샘플 탐지 기능을 가능하게 한다.
• 공유 표현의 분류 가능성을 향상시키기 위해, 프레임워크 내에서 선형 분류기를 함께 최적화한다.
• 공유 및 개인 하위공간, 재구성 계수, 분류기를 번갈아가며 업데이트하는 최적화 과정을 수행하며, 효율적인 분할 다중승수 방법(ADMM)을 사용한다.
• 프레임워크는 더 유연한 분류기와 추가 변형(예: 최근접 이웃 또는 가중치 기반 분류기)을 포함한 D-FRODA로 확장되어 강건성 평가가 가능하다.

실험 결과

연구 질문

• RQ1 통합 프레임워크를 통해 오픈세트 도메인 적응에서 알려지지 않은 타겟 샘플을 동시에 탐지하고 알려진 클래스를 위한 분류 가능한 공유 표현을 학습할 수 있는가?
• RQ2 공유 및 개인 하위공간으로 특징을 분해하는 방식이 기존의 반복적 방법보다 오픈세트 도메인 적응에서 더 나은 성능을 내는가?
• RQ3 제안된 방법이 [5]의 최고 성능 방법보다 더 높은 정확도와 더 빠른 수렴 속도를 달성할 수 있는가?
• RQ4 정규화 임계값 ε와 같은 하이퍼파rameter 선택에 대해 이 방법의 강건성은 어떠한가?

주요 결과

• BCIS 데이터셋에서 FRODA는 A→D 쌍에서 평균 정확도 88.0%를 기록했으며, 이는 이전 SOTA 방법인 ATI의 79.8%를 크게 능가한다.
• Office 데이터셋에서 FRODA-SVM은 A→D에서 88.0%, A→W에서 78.7%, D→W에서 94.6%의 정확도를 기록했으며, 6개의 도메인 쌍 전부에서 이전 SOTA인 ATI를 초월했다.
• 학습된 분류기를 포함한 D-FRODA 변형(D-FRODA-SVM)은 A→D에서 87.4%, D→W에서 94.4%의 정확도를 기록했으며, ATI의 D→W에서의 94.4% 성능을 일관되게 향상시켰다.
• 하이퍼파rameter ε에 대해 강건성이 있으며, 충분한 임계값에 도달하면 결과가 안정화됨을 확인하여, 다양한 설정에서 신뢰할 수 있는 성능을 보였다.
• FRODA는 런타임 약 2.5초로, 정확도는 더 높은 반면 [5] 방법의 32초 런타임보다 10배 이상 빠르게 작동한다.
• 제거 실험 결과, D-FRODA에서 학습된 분류기(W)를 사용할 경우 최근접 이웃 및 기본 베이스라인 변형보다 성능 향상이 뚜렷하여, 공동 최적화의 유용성을 확인했다.