[논문 리뷰] Video Unsupervised Domain Adaptation with Deep Learning: A Comprehensive Survey

Yuecong Xu, Haozhi Cao외 4명|arXiv (Cornell University)|2022. 11. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 216인용 수 9

한 줄 요약

이 종합적 서베이에서는 도메인 이동으로 인해 실세계 비디오 응용에서 성능 저하가 발생하는 문제를 해결하기 위해 딥러닝을 활용한 비디오 비지도 도메인 적응(VUDA) 방법을 검토한다. 이 서베이에서는 VUDA 접근 방식을 적대적, 차이 기반, 의미 기반, 복합적, 재구성 기반 방법으로 분류하고, 다중 모odal 특징 학습, 자기지도 학습, 실용적 구현 시나리오 분야에서의 핵심 과제와 향후 방향성을 규명한다.

ABSTRACT

Video analysis tasks such as action recognition have received increasing research interest with growing applications in fields such as smart healthcare, thanks to the introduction of large-scale datasets and deep learning-based representations. However, video models trained on existing datasets suffer from significant performance degradation when deployed directly to real-world applications due to domain shifts between the training public video datasets (source video domains) and real-world videos (target video domains). Further, with the high cost of video annotation, it is more practical to use unlabeled videos for training. To tackle performance degradation and address concerns in high video annotation cost uniformly, the video unsupervised domain adaptation (VUDA) is introduced to adapt video models from the labeled source domain to the unlabeled target domain by alleviating video domain shift, improving the generalizability and portability of video models. This paper surveys recent progress in VUDA with deep learning. We begin with the motivation of VUDA, followed by its definition, and recent progress of methods for both closed-set VUDA and VUDA under different scenarios, and current benchmark datasets for VUDA research. Eventually, future directions are provided to promote further VUDA research. The repository of this survey is provided at https://github.com/xuyu0010/awesome-video-domain-adaptation.

연구 동기 및 목표

• 공개 데이터셋(소스 도메인)에서 실세계 응용(타겟 도메인)으로 배포할 때 도메인 이동으로 인한 비디오 모델의 성능 저하 문제를 해결하기 위해.
• 높은 비용이 드는 비디오 주석을 줄이기 위해 타겟 도메인의 레이블이 없는 데이터를 비지도 도메인 적응(UDA) 프레임워크에서 활용하기 위해.
• 폐쇄 집합 및 비폐쇄 집합 시나리오 모두에서 VUDA 방법에 대한 체계적인 리뷰를 제공하여 다양한 방법론적 범주와 벤치마크 데이터셋을 포함하기 위해.
• 향후 VUDA 연구를 위한 다중 모달 특징 정렬, 효과적인 특징 추출, 자기지도 학습 분야에서의 핵심 과제를 규명하기 위해.
• 실세계 구현 가능성 향상을 위한 실용적 시나리오 및 방법론적 개선 사항을 제시하여 향후 연구를 이끌기 위해.

제안 방법

• VUDA 방법을 다섯 가지 유형으로 분류한다: 적대적 기반(도메인 구분자 사용으로 도메인 불변 특징 학습), 차이 기반(모멘트 매칭(MMD), CORAL, MDD를 통한 도메인 분포 차이 최소화), 의미 기반(가짜 레이블링, 대비 학습 또는 클러스터링 사용), 복합적(다양한 목표 조합), 재구성 기반(특징 학습을 위한 오토에코더 유사 구조 사용).
• 폐쇄 집합 VUDA를 검토한다. 이 경우 소스 및 타겟 도메인의 레이블 공간이 동일하고, 학습 중에 두 도메인 모두 접근 가능하다.
• 비폐쇄 집합 VUDA 시나리오를 분석한다. 이는 개방 집합, 부분 집합, 제로샷 도메인 적응를 포함하며, 실세계 구현에 더 현실적인 상황이다.
• 다중 모달 입력(예: RGB, 옵티컬 플로우, 음성, 뼈대 데이터, 깊이, 적외선, LiDAR)의 사용을 검토하며, 현재 VUDA 방법에서 이러한 모달리티의 활용이 부족함을 강조한다.
• 특징 추출기로서 트랜스포머 및 그래프 신경망(GNN)과 같은 고급 기법이 도메인 정렬을 향상시키기 위해 특징 품질을 향상시키는 데 기여하는 역할을 한다고 논의한다.
• 자기지도 학습 기법, 특히 자연어 지도(예: 비디오 레이블)를 활용한 대비 학습을 탐구하여 타겟 레이블이 없더라도 도메인 간 의미 정렬을 향상시킬 수 있다.

실험 결과

연구 질문

• RQ1 다양한 도메인 이동 조건에서 비디오 작업에서 각기 다른 VUDA 방법 유형(적대적, 차이 기반, 의미 기반, 복합적, 재구성 기반)의 성능은 어떻게 다른가?
• RQ2 실용성과 모델 일반화 측면에서 폐쇄 집합과 비폐쇄 집합 VUDA 시나리오 간의 주요 차이점과 상충 관계는 무엇인가?
• RQ3 RGB, 옵티컬 플로우, 뼈대, 깊이 등의 다중 모달 비디오 특징은 단일 모달 접근 방식에 비해 도메인 적응 성능을 얼마나 향상시킬 수 있는가?
• RQ4 타겟 레이블이 없는 상황에서 자기지도 학습 기법—특히 텍스트나 의미적 신호를 활용한 대비 학습—은 특징 정렬을 어떻게 향상시킬 수 있는가?
• RQ5 센서 다양성, 특징 품질, 실세계 적용 가능성 측면에서 현재 VUDA 연구의 주요 제한 사항과 열린 과제는 무엇인가?

주요 결과

• 적대적 기반 및 의미 기반 방법은 대비 학습이나 가짜 레이블링과 결합할 경우 도메인 불변 특징 학습에서 뛰어난 성능을 보인다.
• MMD 및 CORAL과 같은 차이 기반 방법은 분포 차이를 최소화하는 데 효과적이지만, 복잡하고 고차원적인 비디오 특징에서는 어려움을 겪을 수 있다.
• 다양한 목표(예: 적대적 손실, 거리 손실, 대비 손실)를 조합하는 복합적 방법은 도메인 정렬과 의미 일致성을 균형 잡는 데 성공하여 최첨단 성능을 달성하는 경우가 많다.
• 오토에코더 구조를 사용하는 재구성 기반 방법은 주로 주의 메커니즘과 결합할 경우 분리된 도메인 불변 표현을 학습하는 데 잠재력을 보여준다.
• 현재 VUDA 방법은 비폐쇄 집합 시나리오(예: 개방 집합, 부분 집합)에서 성능이 떨어지며, 이는 더 강력하고 유연한 적응 프레임워크 개발의 필요성을 시사한다.
• 뼈대 데이터, 깊이 또는 적외선 센서와 같은 다중 모달 입력을 활용하면 도메인 이동에 대한 강건성이 크게 향상되지만, 이러한 모달리티는 기존 VUDA 프레임워크에서 여전히 미흡하게 다뤄지고 있다.