[論文レビュー] 'Less Than One'-Shot Learning: Learning N Classes From M<N Samples

Ilia Sucholutsky, Matthias Schonlau|arXiv (Cornell University)|Sep 17, 2020

Domain Adaptation and Few-Shot Learning参考文献 28被引用数 27

ひとこと要約

本稿では、N 個のクラスを M < N 個のソフトラベル付きプロトタイプから学習する「1未塔のショット学習」（LO-shot）を導入する。距離重み付きk-NN分類器をソフトラベルと組み合わせることで、2つのプロトタイプのみで任意の有限個のクラスを分離可能な決定境界を形成できることを実証した。これは、ハードラベル手法に比べて極めて高いデータ効率を達成し、最小プロトタイプ数を O(N²) から O(1) に削減する。

ABSTRACT

Deep neural networks require large training sets but suffer from high computational cost and long training times. Training on much smaller training sets while maintaining nearly the same accuracy would be very beneficial. In the few-shot learning setting, a model must learn a new class given only a small number of samples from that class. One-shot learning is an extreme form of few-shot learning where the model must learn a new class from a single example. We propose the `less than one'-shot learning task where models must learn $N$ new classes given only $M<N$ examples and we show that this is achievable with the help of soft labels. We use a soft-label generalization of the k-Nearest Neighbors classifier to explore the intricate decision landscapes that can be created in the `less than one'-shot learning setting. We analyze these decision landscapes to derive theoretical lower bounds for separating $N$ classes using $M<N$ soft-label samples and investigate the robustness of the resulting systems.

研究の動機と目的

• N 個のクラスを N 個未満の訓練サンプルから学習可能な理論的妥当性を確立すること。
• ソフトラベルが極めて低ショットな環境下で効果的な意思決定の構造を形成できる仕組みを解明すること。
• LO-shot制約下で生成された決定境界のロバストネスと安定性を分析すること。
• ソフトラベル付きプロトタイプがハードラベル手法に比べて必要な訓練サンプル数を著しく削減できることを示すこと。
• 低データ環境下におけるデータセット縮約およびプロトタイプ生成の理論的基盤を提供すること。

提案手法

• 距離重み付き投票と確率的ラベル分布を用いるソフトラベル一般化 k-NN 分類器（SLaPkNN）を提案する。
• ソフトラベルを用いて部分的なクラス所属関係を符号化し、各プロトタイプが複数のクラス境界に寄与可能となるようにする。
• 幾何学的・確率的解析を通じて、M < N 個のソフトラベル付きプロトタイプを用いた N 個のクラス分離の理論的下界を導出する。
• プロトタイプ位置およびソフトラベルの摂動を施し、リスク勾配とクラス内リスクの挙動を測定することで、意思決定の構造のロバストネスを分析する。
• 同心円のケーススタディを通じて、ハードラベルとソフトラベルのプロトタイプ生成を比較し、ソフトラベルが優れた性能を示すことを示す。
• 逆距離加重法とソフトラベル統合を用いてクラス確率を計算し、最小限のプロトタイプから多クラス分離を実現する。

実験結果

リサーチクエスチョン

• RQ1 意思決定空間において、M < N 個のソフトラベル付きプロトタイプを用いて N 個のクラスを分離可能か？
• RQ2 N 個のクラスを分離するために必要なソフトラベル付きプロトタイプの理論的下限は何か？
• RQ3 プロトタイプ位置およびラベルの摂動に対して、LO-shot意思決定構造のロバストネスはどのように変化するか？
• RQ4 構造的データにおいて、ソフトラベル付きプロトタイプが O(N²) から O(1) に必要なプロトタイプ数を削減可能か？
• RQ5 ソフトラベルは、プロトタイプベース分類においてハードラベルプロトタイプに比べて、どのようにサンプル効率を向上させるか？

主な発見

• 2つのソフトラベル付きプロトタイプでのみ学習された SLaPkNN 分類器が、意思決定空間を任意の有限個のクラスに分割可能である。
• 理論的分析により、ソフトラベル付きプロトタイプを用いることで、M < N 個のサンプルで N 個のクラスを完全に分離可能であることが示され、古典的直感を覆す。
• ロバストネス分析から、適切に調整されたプロトタイプ設定により意思決定構造が安定化し、クラス内リスクのフラクチュエーションが最小限に抑えられることが明らかになった。
• 同心円のケーススタディにおいて、ソフトラベル付きプロトタイプを用いることで、必要な最小プロトタイプ数を O(N²) から O(1) に削減でき、5つのプロトタイプで6つのクラスを分離可能であった。
• 本手法は高いサンプル効率を達成しており、MNIST で5つのソフトラベル付きプロトタイプを用いて学習した場合、90%を超える精度が得られた。これは LO-shot 学習の実現可能性を示している。
• ソフトラベル SLaPkNN はハードラベル kNN よりも幾何的忠実性に優れ、滑らかで楕円型の決定境界を生成し、元のデータ構造と整合的である。