[논문 리뷰] Small Sample Learning in Big Data Era

Jun Shu, Zongben Xu외 1명|arXiv (Cornell University)|2018. 08. 14.

Machine Learning and Algorithms참고 문헌 274인용 수 56

한 줄 요약

작은 표본 학습(SSL) 기법에 대한 고찰로, 경험 학습과 개념 학습을 구분하고 관련 방법, 신경과학 기초, 도전 과제 및 향후 방향을 개요로 제시한다.

ABSTRACT

As a promising area in artificial intelligence, a new learning paradigm, called Small Sample Learning (SSL), has been attracting prominent research attention in the recent years. In this paper, we aim to present a survey to comprehensively introduce the current techniques proposed on this topic. Specifically, current SSL techniques can be mainly divided into two categories. The first category of SSL approaches can be called "concept learning", which emphasizes learning new concepts from only few related observations. The purpose is mainly to simulate human learning behaviors like recognition, generation, imagination, synthesis and analysis. The second category is called "experience learning", which usually co-exists with the large sample learning manner of conventional machine learning. This category mainly focuses on learning with insufficient samples, and can also be called small data learning in some literatures. More extensive surveys on both categories of SSL techniques are introduced and some neuroscience evidences are provided to clarify the rationality of the entire SSL regime, and the relationship with human learning process. Some discussions on the main challenges and possible future research directions along this line are also presented.

연구 동기 및 목표

• SSL의 정의를 제시하고 빅데이터 시대에서의 중요성을 설명한다.
• 두 가지 SSL 분과인 개념 학습과 경험 학습을 구분하고 설명한다.
• 개념 학습의 대표 기법과 선행 연구와의 연계를 요약한다.
• 경험 학습의 대표 기법과 보강된 데이터 및 지식이 작은 샘플을 보완하는 방법을 요약한다.
• SSL의 도전 과제, 신경과학 증거 및 향후 연구 방향에 대해 논의한다.

제안 방법

• SSL의 형식적 정의와 두 가지 학습 범주를 제시한다.
• 의도/외연 매칭과 새로운 개념 형성을 포함한 개념 학습의 일반적 방법론을 설명한다.
• 시각-의미 매핑 및 의미 관련성에서의 의도 매칭 접근법을 고찰한다.
• 경험 학습에서 보강 데이터 및 지식 시스템의 역할을 개요한다.
• SSL을 인지 과학 개념과 연결하고 신경과학적 증거를 제시한다.
• 롱테일 분포, 데이터 부족, 약한 및 웹 기반 지도 감독을 SSL의 동기로 논의한다.

실험 결과

연구 질문

• RQ1 SSL의 핵심 정의와 분류는 무엇인가?
• RQ2 SSL에서 개념 학습과 경험 학습을 구성하는 기법은 무엇인가?
• RQ3 SSL이 표현, 매핑 및 지식을 활용해 소수 샘플로 작동하는 방법은?
• RQ4 SSL을 뒷받침하는 신경과학적 증거는 무엇이며 그것이 인간 학습과 어떻게 연관되는가?
• RQ5 빅데이터 시대의 SSL에서 주요 도전 과제와 향후 방향은 무엇인가?

주요 결과

• SSL은 개념 학습과 경험 학습으로 나눌 수 있으며, 소수 샘플로 인식, 생성, 추론을 가능하게 한다.
• 경험 학습은 보강된 데이터와 지식 시스템을 사용해 한정된 데이터를 보완하는 반면, 개념 학습은 개념과 작은 샘플 간의 규칙 매칭에 의존한다.
• 의도 매칭은 시각/의미 표현 간의 매핑으로 개념과 데이터를 맞춰 제로샷 및 파샷 작업을 가능하게 한다.
• 의미 임베딩 및 의미 관련성 접근법은 제로샷/파샷 설정에서 보이는 클래스에서 보이지 않는 클래스로 지식을 이전하도록 한다.
• 에피소드 기억, 상상력, 구성 가능성 등의 신경과학 개념은 사전 지식으로 신속한 학습의 근거를 제공한다.
• 논문은 약한 감독, 롱테일 분포, 데이터 부족과 같은 도전과제를 다루며 인간에 더 가까운 학습으로 가는 경로로 SSL을 제시한다.