[논문 리뷰] A Review of Single-Source Deep Unsupervised Visual Domain Adaptation

Sicheng Zhao, Xiangyu Yue외 9명|arXiv (Cornell University)|2020. 09. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 214인용 수 23

한 줄 요약

이 논문은 단일 소스 딥 비지도 학습 시각 도메인 적응(DUDA) 방법을 검토하며, 이들을 차이 기반, 적대적 판별 기반, 적대적 생성 기반, 그리고 자기지도 학습 기반 접근법으로 분류한다. 시각 작업에서 도메인 이동을 완화하기 위한 기법에 대한 종합적 분석을 제공하고, 핵심 과제와 향후 연구 방향을 밝히며, 실제 도메인 적응, 모델의 견고성, 신경망 아키텍처 탐색, 일반화를 향상시키기 위한 공통 지식 학습을 포함한다.

ABSTRACT

Large-scale labeled training datasets have enabled deep neural networks to excel across a wide range of benchmark vision tasks. However, in many applications, it is prohibitively expensive and time-consuming to obtain large quantities of labeled data. To cope with limited labeled training data, many have attempted to directly apply models trained on a large-scale labeled source domain to another sparsely labeled or unlabeled target domain. Unfortunately, direct transfer across domains often performs poorly due to the presence of domain shift or dataset bias. Domain adaptation is a machine learning paradigm that aims to learn a model from a source domain that can perform well on a different (but related) target domain. In this paper, we review the latest single-source deep unsupervised domain adaptation methods focused on visual tasks and discuss new perspectives for future research. We begin with the definitions of different domain adaptation strategies and the descriptions of existing benchmark datasets. We then summarize and compare different categories of single-source unsupervised domain adaptation methods, including discrepancy-based methods, adversarial discriminative methods, adversarial generative methods, and self-supervision-based methods. Finally, we discuss future research directions with challenges and possible solutions.

연구 동기 및 목표

• 시각 인식 작업을 위한 단일 소스 딥 비지도 학습 시각 도메인 적응(DUDA) 분야의 최근 발전을 종합적으로 검토하는 것.
• 아키텍처와 학습 전략에 기반해, 차이 기반, 적대적 판별 기반, 적대적 생성 기반, 자기지도 학습 기반의 주요 DUDA 방법을 분류하고 비교하는 것.
• 다양한 소스 도메인, 레이블 가용성의 다양성, 레이블 공간의 불일치 등 실제 도메인 적응에서 발생하는 주요 과제를 특정하는 것.
• 모델의 견고성, 신경망 아키텍처 탐색, 일반화를 향상시키기 위한 공통 지식 학습과 같은 향후 연구 방향을 탐색하는 것.
• 연구자들과 실무자들이 현재 DUDA의 상태를 이해하고 향후 방법론 개발에 기여할 수 있도록 안내하는 것.

제안 방법

• DUDA 방법을 차이 기반, 적대적 판별 기반, 적대적 생성 기반, 자기지도 학습 기반 접근법으로 나누어 분류하는 것.
• 소스 도메인과 타겟 도메인 간의 도메인 불변 특징 학습을 통해 도메인 이동을 줄이는 분석.
• 판별 기반 및 생성 기반 프레임워크에서 적대적 훈련을 활용해 도메인 간 특징 분포를 정렬하는 것.
• 레이블이 없는 타겟 데이터를 활용하지 않고도 유의미한 표현을 학습하기 위해 자기지도 학습 프리텍스트 작업을 활용하는 것.
• 특징 수준, 인스턴스 수준, 분포 수준 등 다양한 수준에서 도메인 정렬을 통합하는 것.
• 구성 요소 수준 분석과 아키텍처 변형을 통해 다양한 DUDA 파이프라인을 통합하는 프레임워크에 종속되지 않는 분류 체계를 제안하는 것.

실험 결과

연구 질문

• RQ1 차이 기반, 적대적, 자기지도 학습 기반 DUDA 방법은 시각 작업 전반에서 성능과 견고성 측면에서 어떻게 비교되는가?
• RQ2 복잡한 도메인 이동이 발생하는 실제 시나리오에 적용했을 때 현재 DUDA 방법의 핵심 한계는 무엇인가?
• RQ3 어떻게 하면 타겟 도메인의 적대적 예외 및 분포 이동에 대해 견고한 도메인 적응을 구현할 수 있는가?
• RQ4 신경망 아키텍처 탐색을 통해 다양한 환경에서 도메인 적응에 최적화된 네트워크 아키텍처를 자동으로 발견할 수 있는가?
• RQ5 시각 세계 지식에 대한 '공통 지식' 학습이 특징 정렬을 넘어서 도메인 일반화를 얼마나 향상시킬 수 있는가?

주요 결과

• 차이 기반 방법은 도메인 불변 표현을 사용함으로써 소스 및 타겟 특징 간 분포의 차이를 최소화함으로써 강력한 성능을 달성한다.
• 적대적 판별 기반 방법은 도메인 판별기로 특징을 정렬함으로써 효과적으로 기능하지만, 훈련의 불안정성과 모드 붕괴 등의 문제를 겪을 수 있다.
• 적대적 생성 기반 방법, 예를 들어 GAN 기반 도메인 적응은 현실적인 타겟 유사 특징을 합성하는 데 잠재력을 보이며, 그러나 일반적으로 정교한 초모수 튜닝이 필요하다.
• 자기지도 학습 기반 방법은 로테이션 예측이나 대비 학습과 같은 프리텍스트 작업을 활용해 레이블이 없는 데이터에 대한 의존도를 줄이며, 제한된 감독 하에서의 일반화를 향상시킨다.
• 현재 DUDA 방법들은 다수의 소스, 부분적인 레이블 오버랩, 또는 오픈 세트 시나리오를 포함한 실제 환경에서는 종종 실패하며, 실용적 적용에 대한 격차를 드러낸다.
• 논문은 모델의 견고성, 아키텍처 탐색, 공통 지식 학습이 실제 도메인 적응에서 일반화와 신뢰성을 향상시키기 위한 핵심 향후 연구 방향임을 특정한다.