[논문 리뷰] A survey on Semi-, Self- and Unsupervised Techniques in Image Classification.

Lars Schmarje, Monty Santarossa외 2명|arXiv (Cornell University)|2020. 02. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 104인용 수 17

한 줄 요약

이 종합 검토는 이미지 분류에서 준지도, 자기지도, 비지도 학습 기법을 검토하며, 레이블링 요구를 줄이는 데 초점을 맞춰 25가지 방법을 분석한다. 연구 결과, 최신 기술 모델은 점점 더 확장 가능해지고, 더 적은 지도 학습을 필요로 하며, 핵심 아이디어를 공유하고 있음을 확인하였다. 향후 이러한 원칙을 통합함으로써 성능을 향상시킬 수 있는 기회가 있다.

ABSTRACT

While deep learning strategies achieve outstanding results in computer vision tasks, one issue remains: The current strategies rely heavily on a huge amount of labeled data. In many real-world problems, it is not feasible to create such an amount of labeled training data. Therefore, it is common to incorporate unlabeled data into the training process to reach equal results with fewer labels. Due to a lot of concurrent research, it is difficult to keep track of recent developments. In this survey, we provide an overview of often used ideas and methods in image classification with fewer labels. We compare 25 methods in detail. In our analysis, we identify three major trends. 1. State-of-theart methods are scaleable to real-world applications based on their accuracy. 2. The degree of supervision which is needed to achieve comparable results to the usage of all labels is decreasing. 3. All methods share common ideas while only a few methods combine these ideas to achieve better performance. Based on all of these three trends we discover future research opportunities.

연구 동기 및 목표

• 준지도, 자기지도, 비지도 학습 기법이 이미지 분류에 어떻게 적용되는지 종합적인 개요를 제공하기 위해.
• 성능, 확장 가능성, 레이블링 효율성 측면에서 최근 25가지 방법을 비교하기 위해.
• 이러한 방법들 간의 공통된 패턴과 추세를 규명하여 향후 연구를 안내하기 위해.
• 완전히 지도 학습과 비슷한 성능을 달성하기 위해 필요한 지도 학습 수준을 분석하기 위해.
• 공통 원리와 방법 통합의 격차를 분석함으로써 연구 기회를 밝혀내기 위해.

제안 방법

• 이 종합 검토는 최신 준지도, 자기지도, 비지도 이미지 분류 방법 25가지에 대한 상세한 비교 분석을 수행한다.
• 실생활 응용에서 정확도, 확장 가능성, 레이블링 효율성 기준으로 방법들을 평가한다.
• 데이터 증강, 일관성 정규화, 대비 학습과 같은 공통된 방법론적 구성 요소가 공통된 기초 아이디어로 식별된다.
• 높은 성능를 유지하면서도 레이블 데이터 의존도를 줄이는 방법들의 작동 방식에 초점을 맞춘다.
• 지도 학습 수준에 따라 방법들을 분류하고, 아키텍처 및 학습 전략의 차이를 분석한다.
• 연구 결과를 종합하여 지도 학습 필요도 감소와 확장 가능성 증가 추세를 부각시킨다.

실험 결과

연구 질문

• RQ1 저레이블 환경에서 이미지 분류에 가장 효과적인 준지도, 자기지도, 비지도 기법은 무엇인가?
• RQ2 적은 수의 레이블 예제를 사용할 때 현재 방법들이 정확도와 확장 가능성 측면에서 어떻게 비교되는가?
• RQ3 현대적 방법들은 성능을 저하시키지 않고 레이블 데이터 필요도 얼마나 줄일 수 있는가?
• RQ4 약한 지도 학습에서 높은 성능을 내는 방법들 간에 공유되는 핵심 아이디어는 무엇인가?
• RQ5 기존 원칙을 어떻게 조합하여 저지도 학습 환경에서 성능을 더욱 향상시킬 수 있는가?

주요 결과

• 준지도 및 자기지도 학습의 최신 기술은 점점 더 확장 가능해지고 실생활 구현에 적합하다.
• 완전히 지도 학습과 유사한 성능를 달성하기 위해 필요한 지도 학습 수준은 점차 감소하고 있다.
• 다양한 아키텍처와 학습 전략에도 불구하고, 대부분의 높은 성능의 방법들은 데이터 증강과 일관성 정규화와 같은 공통된 기초 아이디어를 공유하고 있다.
• 다수의 핵심 아이디어를 성공적으로 통합한 방법은 소수에 불과하여, 방법 통합을 통해 잠재적 성능 향상 기회가 여전히 남아 있다.
• 이러한 추세의 융합는 준지도 및 자기지도 학습 프레임워크 간 효과적인 원칙 통합을 위한 향후 연구 기회를 시사한다.