[논문 리뷰] A Survey on Deep Semi-supervised Learning

Xiangli Yang, Zixing Song외 2명|arXiv (Cornell University)|2021. 02. 28.

Multimodal Machine Learning Applications참고 문헌 307인용 수 33

한 줄 요약

이 조사은 심층 반지도학습(DSSL) 방법을 분류하고 검토하며 다섯 가지 주요 카테고리와 52개의 대표 방법을 포괄하고, 도전과제와 향후 방향에 대해 논의합니다.

ABSTRACT

Deep semi-supervised learning is a fast-growing field with a range of practical applications. This paper provides a comprehensive survey on both fundamentals and recent advances in deep semi-supervised learning methods from perspectives of model design and unsupervised loss functions. We first present a taxonomy for deep semi-supervised learning that categorizes existing methods, including deep generative methods, consistency regularization methods, graph-based methods, pseudo-labeling methods, and hybrid methods. Then we provide a comprehensive review of 52 representative methods and offer a detailed comparison of these methods in terms of the type of losses, contributions, and architecture differences. In addition to the progress in the past few years, we further discuss some shortcomings of existing methods and provide some tentative heuristic solutions for solving these open problems.

연구 동기 및 목표

• 심층 반지도학습(DSSL)의 기본 이론과 최근 발전을 요약한다.
• DSSL 방법의 분류 체계를 제공하고 대표적인 방법을 카테고리에 매핑한다.
• 손실 유형, 아키텍처 및 기여에 따라 방법을 비교한다.
• 열려 있는 문제를 식별하고 향후 연구를 위한 휴리스틱 방향을 제시한다.

제안 방법

• DSSL 방법의 분류 체계를 제안한다: 생성적, 일관성 규제, 그래프 기반, 의사레이블링 및 하이브리드 방법.
• 이 범주들에 걸친 52개의 대표 방법을 조사하고 손실, 아키텍처 및 기여를 비교한다.
• DSSL을 발전시키기 위한 열려 있는 문제와 휴리스틱 해법을 논의한다.
• 논의를 grounding하기 위한 배경, 가정 및 데이터셋을 검토한다.
• 비전 및 NLP에서의 관련 패러다임 및 응용과의 연결을 강조한다.

실험 결과

연구 질문

• RQ1 딥 반지도학습의 주요 카테고리는 무엇이며 모델 설계 및 손실 형식화에서 어떻게 차이가 있는가?
• RQ2 대표적인 DSSL 방법들은 손실, 아키텍처 선택 및 실증적 기여 측면에서 어떻게 비교되는가?
• RQ3 DSSL의 핵심 열려 있는 문제는 무엇이며 이를 해결하기 위한 그럴듯한 방향은 무엇인가?

주요 결과

• DSSL 방법은 다섯 가지 카테고리로 분류된다: 생성적, 일관성 규제, 그래프 기반, 의사레이블링, 및 하이브리드 방법.
• 본 조사는 52개의 대표적 DSSL 방법을 검토하고 손실 유형과 아키텍처를 비교한다.
• GAN 기반 및 VAE 기반 생성 방법은 비지도 데이터 활용 SSL에서 두드러진다.
• 일관성 규제 및 의사레이블링 전략은 현대 많은 방법에서 효과적으로 강조된다.
• 본 논문은 한계점을 논의하고 향후 연구를 위한 휴리스틱 방향을 제안한다.