[論文レビュー] Few-shot learning of neural networks from scratch by pseudo example optimization

Akisato Kimura, Zoubin Ghahramani+3 more|arXiv (Cornell University)|Feb 8, 2018

Advanced machining processes and optimization被引用数 32

ひとこと要約

本論文は、ガウス過程（GP）基準モデルを用いた知識蒸留と最適化された擬似トレーニング例を用いて、ラベル付きデータが非常に少ない状況でもニューラルネットワークをスクラッチから訓練する、新しい少サンプル学習手法を提案する。ターゲットネットワークと一般化性能を向上させるために擬似例を同時に最適化することで、ラベル付きデータが限られた状況でも最先端の性能を達成し、単純な訓練法や標準的な知識蒸留法を上回る。

ABSTRACT

In this paper, we propose a simple but effective method for training neural networks with a limited amount of training data. Our approach inherits the idea of knowledge distillation that transfers knowledge from a deep or wide reference model to a shallow or narrow target model. The proposed method employs this idea to mimic predictions of reference estimators that are more robust against overfitting than the network we want to train. Different from almost all the previous work for knowledge distillation that requires a large amount of labeled training data, the proposed method requires only a small amount of training data. Instead, we introduce pseudo training examples that are optimized as a part of model parameters. Experimental results for several benchmark datasets demonstrate that the proposed method outperformed all the other baselines, such as naive training of the target model and standard knowledge distillation.

研究の動機と目的

• ラベル付き例が非常に少ない状況で、過学習が深刻な問題となる深層ニューラルネットワークの訓練に取り組む。
• 転移学習に必要な大量のラベル付きデータに依存する既存の知識蒸留法の限界を克服する。
• 最小限の実データのみを用いて、頑健な参考推定器（例：GP）からターゲットニューラルネットワークへの有効な知識転送を可能にするフレームワークを開発する。
• 低データ環境におけるモデル一般化性能の向上を目的とした、擬似トレーニング例の新しい最適化戦略を導入する。
• 模倣損失、擬似例最適化、忠実度重み付けを組み合わせることで、少サンプル学習における性能を向上させる。

提案手法

• 少数の実ラベル付き例を用いて訓練されたガウス過程（GP）分類器を、頑健で滑らかな予測を提供する基準モデルとして使用する。
• ターゲットニューラルネットワークを、ハードラベルとソフトラベルを組み合わせた知識蒸留損失を通じてGPの予測を模倣するように訓練する。
• トレーニングプロセスの中で最適化される擬似トレーニング例（誘導点）を導入し、損失関数を増加させ、予測が難しい領域に注目する。
• 特徴空間における高不確実性領域や誤分類領域に向け、勾配更新を用いて擬似例を最適化する。
• 基準モデルの予測において不確実性が大きい擬似例を抑制するために、忠実度重み付けを適用し、学習の安定性を向上させる。
• AdamおよびNadam最適化法を用いて、実データと擬似データの両方を統合的に最適化することで、ターゲットネットワークと擬似例をエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータが非常に少ない状況で、事前学習モデルや大規模データに依存せずに、知識蒸留を効果的に適用できるか？
• RQ2 ラベル付きデータが少ないニューラルネットワーク学習における一般化性能の向上を目的とした、擬似トレーニング例の最適化方法は何か？
• RQ3 GPベースの基準モデルと繰り返しの擬似例最適化を組み合わせることで、標準的な知識蒸留法や単純な訓練法よりも優れた性能が得られるか？
• RQ4 忠実度重み付けが、訓練プロセスにおける擬似例の品質と信頼性に与える影響は何か？
• RQ5 少数の実例と最適化された擬似例のみを用いて、ニューラルネットワークをスクラッチから効果的に訓練し、最先端の少サンプル性能を達成できるか？

主な発見

• 提案手法は、MNISTおよびCIFAR-FSでターゲットネットワークの単純な訓練法を上回り、クラスあたり200例のラベル付きデータで86.7%の精度を達成した。
• 擬似例最適化を組み込むことで、模倣のみのベースライン手法に比べて最大2.5%の性能向上が見られ、特にMNIST（100例で79.5% vs. 78.1%）で顕著であった。
• 忠実度重み付けはわずかだが一貫した改善効果を示し、一部の設定（特にMNIST）で0.2–0.5%の精度向上をもたらした。
• 弱い基準モデル（GP）でさえ、提案手法がGP自体の性能（MNISTで200例の場合、GP：71.4%、Imitation, optimize, fidelity：72.5%）を上回った。
• テストされたすべての少サンプルベンチマークで最先端の結果を達成し、ラベル付きデータが極めて少ない状況でも頑健で一般化可能な性能を示した。
• アブレーションスタディにより、擬似例最適化が最も効果的な要因であることが確認され、これを含まない手法に比べて顕著な性能向上が得られた。