[논문 리뷰] An Overview of Deep Learning Architectures in Few-Shot Learning Domain

Shruti Jadon, Aryan Jadon|arXiv (Cornell University)|2020. 08. 12.

Domain Adaptation and Few-Shot Learning인용 수 41

한 줄 요약

few-shot 학습을 위한 딥 러닝 접근법에 대한 설문조사로, 데이터 증강, 거리/측정 기반(metric-based), 모델 기반, 그리고 최적화 기반 방법을 다루며 시아미즈 네트워크(Siamese networks), 매칭 네트워크(Matching Networks), Memory Augmented Neural Networks (MANN), Meta Networks, Model-Agnostic Meta-Learning (MAML), 및 LSTM 메타 학습자(LSTM meta-learners) 등이 포함된다.

ABSTRACT

Since 2012, Deep learning has revolutionized Artificial Intelligence and has achieved state-of-the-art outcomes in different domains, ranging from Image Classification to Speech Generation. Though it has many potentials, our current architectures come with the pre-requisite of large amounts of data. Few-Shot Learning (also known as one-shot learning) is a sub-field of machine learning that aims to create such models that can learn the desired objective with less data, similar to how humans learn. In this paper, we have reviewed some of the well-known deep learning-based approaches towards few-shot learning. We have discussed the recent achievements, challenges, and possibilities of improvement of few-shot learning based deep learning architectures. Our aim for this paper is threefold: (i) Give a brief introduction to deep learning architectures for few-shot learning with pointers to core references. (ii) Indicate how deep learning has been applied to the low-data regime, from data preparation to model training. and, (iii) Provide a starting point for people interested in experimenting and perhaps contributing to the field of few-shot learning by pointing out some useful resources and open-source code. Our code is available at Github: https://github.com/shruti-jadon/Hands-on-One-Shot-Learning.

연구 동기 및 목표

• 핵심 연구에 대한 참조와 함께 few-shot 학습용 딥 러닝 아키텍처에 대한 간결한 도입부를 제공한다.
• 데이터가 적은 상황에서의 딥 러닝이 어떻게 적용되는지 데이터 준비에서 모델 학습에 이르기까지 설명한다.
• 연구자들이 few-shot 학습을 실험해볼 수 있도록 시작점, 리소스, 오픈 소스 코드를 제공한다.

제안 방법

• few-shot DL 접근법을 데이터 증강, 메트릭 기반, 모델 기반, 그리고 최적화 기반 방법으로 분류한다.
• 핵심 아키텍처를 설명한다: Siamese networks, Matching Networks, Memory Augmented Neural Networks (MANN), Neural Turing Machines, Meta Networks, Model-Agnostic Meta-Learning (MAML), 그리고 LSTM-based meta-learners.
• 각 방법의 데이터 처리 및 학습 절차를 설명한다. 시아미즈 네트워크의 데이터 쌍 구성 및 Matching Networks의 서포트/쿼리 설정을 포함하여.
• 메모리 강화 아키텍처와 주의집중/메모리 메커니즘이 few-shot 작업에서의 빠른 일반화를 가능하게 하는 방식을 다룬다.
• few gradient steps로 초기화하거나 적응시키는 것을 목표로 하는 최적화 기반 메타 학습 전략을 요약한다.
• 실험을 위한 데이터셋(예: Omniglot, Mini-Imagenet)과 오픈 소스 자원에 대한 포인터를 제공한다.

실험 결과

연구 질문

• RQ1 딥 모델에서 효과적인 few-shot 학습을 가능하게 하는 아키텍처는 무엇인가?
• RQ2 데이터 증강, 메트릭 학습, 모델 기반 메모리 메커니즘, 그리고 최적화 기반 메타 학습은 데이터가 부족할 때 성능에 어떻게 기여하는가?
• RQ3 few-shot 학습 시스템에 대한 실용적인 학습 및 데이터 준비 고려사항은 무엇인가?
• RQ4 few-shot 학습을 시작하기 위한 자원과 오픈 소스 도구는 어떤 것이 있는가?

주요 결과

• 설문조사는 Siamese networks, Matching Networks, 그리고 few-shot 학습을 위한 메모리 보강 모델과 같은 주요 아키텍처를 다룬다.
• 데이터 증강과 메트릭 학습을 데이터 요구량 감소의 기본 기술로 강조한다.
• 모델 기반 접근법은 외부 메모리와 주의에 의존하여 과제 간 빠른 일반화를 가능하게 한다.
• MAML 및 LSTM 기반 학습자와 같은 최적화 기반 메타 학습 방법은 적은 gradient step으로 빠른 적응을 제공하는 것을 목표로 한다.
• 해당 연구는 표준 few-shot 벤치마크를 참조하고 연구자들을 위한 실용적 지침 및 코드 자원을 제공한다.