[논문 리뷰] Semi-Supervised and Unsupervised Deep Visual Learning: A Survey

Yanbei Chen, Massimiliano Mancini외 2명|arXiv (Cornell University)|2022. 08. 24.

Domain Adaptation and Few-Shot Learning인용 수 9

한 줄 요약

이 종합 검토는 다양한 컴퓨터 비전 작업에서의 설계 이론을 분석하면서 최신의 반감독 및 무감독 딥 뷰어럴 러닝 방법에 대한 통합된 분류 체계를 제시한다. 레이블이 없는 데이터를 활용하여 표현 학습과 모델 일반화를 향상시키기 위한 고급 딥 러닝 알고리즘을 검토하며, 자기 지도 학습 기법, 다중 모달 학습, 그리고 지속적 학습 및 오픈 세트 학습 환경에서의 새로운 과제를 강조한다.

ABSTRACT

State-of-the-art deep learning models are often trained with a large amount of costly labeled training data. However, requiring exhaustive manual annotations may degrade the model's generalizability in the limited-label regime. Semi-supervised learning and unsupervised learning offer promising paradigms to learn from an abundance of unlabeled visual data. Recent progress in these paradigms has indicated the strong benefits of leveraging unlabeled data to improve model generalization and provide better model initialization. In this survey, we review the recent advanced deep learning algorithms on semi-supervised learning (SSL) and unsupervised learning (UL) for visual recognition from a unified perspective. To offer a holistic understanding of the state-of-the-art in these areas, we propose a unified taxonomy. We categorize existing representative SSL and UL with comprehensive and insightful analysis to highlight their design rationales in different learning scenarios and applications in different computer vision tasks. Lastly, we discuss the emerging trends and open challenges in SSL and UL to shed light on future critical research directions.

연구 동기 및 목표

• 컴퓨터 비전 분야에서 반감독 및 무감독 딥 뷰어럴 러닝의 최근 발전을 종합적이고 체계적으로 검토하는 것.
• 높은 레이블링 비용과 레이블 편향, 데이터 기억 현상으로 인한 일반화 능력 부족 등의 문제점을 해결하기 위해 감독 학습의 한계를 다루는 것.
• 반감독, 무감독, 자기 지도 학습 등의 다양한 접근 방식을 시각적 표현 학습을 위한 공통 프레임워크로 통합하는 것.
• 대비 학습, 가짜 레이블링, 다중 모달 자기 지도 학습 등의 핵심 방법론적 추세를 식별하고 분석하는 것.
• 지속적 학습, 데이터 분포의 변화, 다중 모달 학습에서의 의미적 갭 등의 열린 과제를 강조하는 것.

제안 방법

• 학습 목표, 감독 신호, 아키텍처 설계를 기반으로 SSL 및 UL 방법을 분류하는 통합된 분류 체계를 제안한다.
• 일致성 훈련, 가짜 레이블링, 대비 학습, 자기 지도 사전 훈련을 포함한 카테고리로 방법을 분류한다.
• 공동 최적화 과정에서의 무감독 손실 함수(예: 대비 손실, 인스턴스 식별)와 감독 손실 항목의 사용을 분석한다(식 (1)).
• 수동 레이블링 없이도 자율 지도 신호를 생성하기 위해 시각-언어 및 청각-시각 상응성을 활용한 다중 모달 접근 방식을 검토한다.
• 스트리밍 및 오픈 세트 학습 환경을 분석하며, 변화하는 데이터 분포에 대응하기 위한 온라인 클러스터링 및 동적 표현 업데이트 기법을 고려한다.
• 자기 지도 표현 학습을 위한 시각-언어 모델(예: CLIP, ALIGN)과 다중 모달 트랜스포머(예: ViLBERT, LXMERT)의 통합적 통찰을 제공한다.

실험 결과

연구 질문

• RQ1 저샷 및 제로샷 학습 환경에서 레이블이 없는 시각 데이터를 효과적으로 활용하여 모델의 일반화 능력을 향상시킬 수 있는 방법은 무엇인가?
• RQ2 반감독 및 무감독 딥 뷰어럴 러닝 방법의 핵심 설계 원칙과 상이점은 무엇인가?
• RQ3 자기 지도 사전 작업과 대비 학습은 인간 레이블 없이도 강력한 시각적 표현을 학습하는 데 어떻게 기여하는가?
• RQ4 SSL 및 UL을 스트리밍, 오픈 세트, 다중 모달 학습 환경에 적용할 때의 주요 과제는 무엇인가?
• RQ5 시각-언어, 청각-시각 등의 다중 모달 신호는 어떻게 효과적인 자기 지도 학습을 위해 활용될 수 있는가?

주요 결과

• 자기 지도 학습 및 무감독 학습 방법은 대규모 레이블이 없는 데이터로부터 학습함으로써 모델의 일반화 능력을 크게 향상시키며, 높은 레이블링 비용에 대한 의존도를 감소시킨다.
• 대비 학습과 인스턴스 식별은 가장 효과적인 자기 지도 학습 기법에 속하며, ImageNet에서 완전히 감독된 모델에 가까운 성능을 달성한다.
• 시각-언어 모델인 CLIP 및 ALIGN은 공통 잠재 공간에서 이미지와 텍스트 임베딩을 정렬함으로써 다운스트림 작업으로의 제로샷 전이를 가능하게 한다.
• 다중 모달 자기 지도 학습은 신호가 정렬될 경우 모달 간 의미적 갭을 줄이지만, 모달 간 상관관계가 성립하지 않을 경우 성능이 저하된다.
• 레이블이 없는 데이터에서의 오픈 세트 학습 및 지속적 학습은 가짜 레이블링에서의 치명적 잊음과 확인 편향으로 인해 여전히 도전 과제로 남아 있다.
• 이 검토에서 제안한 통합된 분류 체계는 방법론 간 관계를 더 잘 이해하고 스케일러블 시각적 표현 학습 분야의 향후 연구를 촉진하는 데 기여한다.