[論文レビュー] Imitation networks: Few-shot learning of neural networks from scratch

Akisato Kimura, Zoubin Ghahramani+3 more|arXiv (Cornell University)|Feb 8, 2018

Domain Adaptation and Few-Shot Learning参考文献 39被引用数 13

ひとこと要約

この論文では、頑健な参照推定器を模倣することで、ラベル付きデータが非常に少ない状況でも、ニューラルネットワークを完全に再訓練するための少サンプル学習手法「イミテーションネットワーク」を紹介する。モデルパラメータとして最適化された疑似トレーニング例を用いることで、標準的な知識蒸留法や単純な学習法よりも優れた性能を達成し、ラベル付きデータが極めて少ない状況でも効果を発揮する。

ABSTRACT

In this paper, we propose imitation networks, a simple but effective method for training neural networks with a limited amount of training data. Our approach inherits the idea of knowledge distillation that transfers knowledge from a deep or wide reference model to a shallow or narrow target model. The proposed method employs this idea to mimic predictions of reference estimators that are much more robust against overfitting than the network we want to train. Different from almost all the previous work for knowledge distillation that requires a large amount of labeled training data, the proposed method requires only a small amount of training data. Instead, we introduce pseudo training examples that are optimized as a part of model parameters. Experimental results for several benchmark datasets demonstrate that the proposed method outperformed all the other baselines, such as naive training of the target model and standard knowledge distillation.

研究の動機と目的

• ラベル付きデータが限られている状況で、過学習が大きな問題となる深層ニューラルネットワークの学習に取り組むこと。
• 大規模なラベル付きデータセットを必要とせずに、頑健な参照モデルからターゲットモデルへの有効な知識移譲を可能にする手法を開発すること。
• 実際の例と学習された疑似例を用いて、浅いまたは狭いターゲットネットワークを完全に再訓練すること。
• 参照推定器の予測の一貫性を活用することで、データが少ない状況での一般化性能を向上させること。

提案手法

• この手法は知識蒸留の原則を用いるが、ラベル付きデータが極めて少ない状況での少サンプル学習に応用する。
• トレーニング中にモデルパラメータの一部として最適化される疑似トレーニング例を導入する。
• ターゲットネットワークは、より頑健な参照推定器の予測を模倣するように訓練される。この参照推定器は、より大きな、あるいは関連のないデータセットで事前に学習されている。
• 疑似例は微分可能であり、バックプロパゲーションにより更新され、ターゲットモデルの一般化性能が向上する。
• トレーニング目的関数は、実際の例と疑似例の両方において、ターゲットモデルの出力と参照推定器の出力との間の交差エントロピー損失を最小化する。
• このアプローチにより、わずかなラベル付き例と最適化された疑似データのみを用いて、ターゲットネットワークのエンドツーエンド学習が可能になる。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータが極めて少ない状況において、知識蒸留が有効に適用可能か？
• RQ2 モデルパラメータとして最適化された疑似トレーニング例を用いることで、データが少ない状況での一般化性能が向上するか？
• RQ3 イミテーションネットワークは、標準的な知識蒸留法や単純な学習法と比較して、精度と頑健性の面で優れているか？
• RQ4 わずかな実際の例と疑似例のみを用いて、ターゲットネットワークを完全に再訓練し、高い性能を達成できるか？

主な発見

• イミテーションネットワークは、テストしたすべてのベンチマークデータセットで、ターゲットモデルの単純な学習法を上回った。
• 標準的な知識蒸留法よりも高い精度を達成したが、通常は大規模なラベル付きデータセットを必要とする。
• 最適化された疑似例の使用により、データが少ない状況での過学習が顕著に低減された。
• このアプローチは、わずかなラベル付き例しかなくとも、強い一般化性能を示した。
• 参照推定器の頑健性が効果的にターゲットモデルに移譲され、完全に再訓練された状態で高い性能が達成された。
• 実験結果により、複数のベンチマークデータセットにおいて、この手法の優位性が確認された。