[論文レビュー] Small Sample Learning in Big Data Era

Jun Shu, Zongben Xu+1 more|arXiv (Cornell University)|Aug 14, 2018

Machine Learning and Algorithms参考文献 274被引用数 56

ひとこと要約

Small Sample Learning (SSL) 技術の調査、経験学習と概念学習を区別し、関連手法、神経科学の基盤、課題、および将来の方向性を概説します。

ABSTRACT

As a promising area in artificial intelligence, a new learning paradigm, called Small Sample Learning (SSL), has been attracting prominent research attention in the recent years. In this paper, we aim to present a survey to comprehensively introduce the current techniques proposed on this topic. Specifically, current SSL techniques can be mainly divided into two categories. The first category of SSL approaches can be called "concept learning", which emphasizes learning new concepts from only few related observations. The purpose is mainly to simulate human learning behaviors like recognition, generation, imagination, synthesis and analysis. The second category is called "experience learning", which usually co-exists with the large sample learning manner of conventional machine learning. This category mainly focuses on learning with insufficient samples, and can also be called small data learning in some literatures. More extensive surveys on both categories of SSL techniques are introduced and some neuroscience evidences are provided to clarify the rationality of the entire SSL regime, and the relationship with human learning process. Some discussions on the main challenges and possible future research directions along this line are also presented.

研究の動機と目的

• SSLを定義し、ビッグデータ時代におけるその重要性を動機づける。
• 2つのSSL分野：概念学習と経験学習を区別し、説明する。
• 概念学習の代表的な手法と先行研究との関連を要約する。
• 経験学習の代表的な手法と、拡張データと知識が小さなサンプルを補償できる方法を要約する。
• SSLにおける課題、神経科学的証拠、および将来の研究方向性について論じる。

提案手法

• SSLとその2つの学習カテゴリーの形式的定義を提示する。
• 意義（intension）と拡張（extension）の照合と新概念の形成を含む概念学習の一般的な方法論を説明する。
• 視覚表現と意味表現の写像および意味的関連性からの意義照合アプローチを概説する。
• 経験学習における拡張データと知識システムの役割を概説する。
• SSLを認知科学の概念に結びつけ、神経科学的証拠を提供する。
• 長尾問題、データ不足、弱教師あり/ウェブ学習監視をSSL動機として論じる。

実験結果

リサーチクエスチョン

• RQ1 Small Sample Learning (SSL) の核心的な定義と分類は何か？
• RQ2 SSLにおける概念学習と経験学習を構成する手法は何か？
• RQ3 SSLは表現、写像、および知識をどのように活用して少数サンプルで機能できるか？
• RQ4 SSLを支持する神経科学の証拠は何であり、それは人間の学習とどう関連するか？
• RQ5 ビッグデータ時代のSSLにおける主な課題と今後の方向性は何か。

主な発見

• SSLは概念学習と経験学習に分割可能で、少数サンプルからの認識、生成、推論を可能にする。
• 経験学習は拡張データと知識システムを用いてデータ不足を補い、概念学習は概念と小さなサンプル間の規則一致に依存する。
• Intension matching は視覚/意味表現間の写像を介して概念とデータを整合させ、ゼロショットおよび少数ショットタスクを可能にする。
• 意味埋め込みと意味的関連性アプローチは、ゼロショット/少数ショット設定で見られたクラスから未見クラスへの知識移転を可能にする。
• 神経科学の概念であるエピソディック記憶、想像、組成性は、事前知識を活用した急速学習の合理性を提供する。
• 本論は弱い監視、長尾分布、データ不足といった課題を論じ、より人間らしい学習へ向けた道としてSSLを提案している。