[論文レビュー] Fast and Generalized Adaptation for Few-Shot Learning

Liang Song, Jinlu Liu+1 more|arXiv (Cornell University)|Nov 25, 2019

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本稿では、事前学習されたベースモデルを用いて適応段階を制約することで一般化性能を向上させる、高速で閉形式の少サンプル学習用適応手法を提案する。理論的分析がその設計を支持しており、4つのベンチマークで実験した結果、5ショットのminiImageNetで87.75%の正確度を達成し、従来手法と比較して約10%高い性能を示した。

ABSTRACT

Many Few-Shot Learning research works have two stages: pre-training base model and adapting to novel model. In this paper, we propose to use closed-form base learner, which constrains the adapting stage with pre-trained base model to get better generalized novel model. Following theoretical analysis proves its rationality as well as indication of how to train a well-generalized base model. We then conduct experiments on four benchmarks and achieve state-of-the-art performance in all cases. Notably, we achieve the accuracy of 87.75% on 5-shot miniImageNet which approximately outperforms existing methods by 10%.

研究の動機と目的

• 一般化性能に強い理論的根拠のない微調整やメタラーニングに依存する従来の少サンプル学習手法の限界を解消すること。
• 事前学習されたベースモデルを用いて適応段階を制約することで、モデルの一般化性能を向上させること。
• 効果的な少サンプル適応を支援するwell-generalizedなベースモデルを、理論的裏付けに基づいて学習するアプローチを提供すること。
• 複雑な適応手順を必要とせず、複数の少サンプル学習ベンチマークで最先端の性能を達成すること。

提案手法

• 反復的最適化を必要とせず、直接適応重みを計算する閉形式ベースラーナーを導入し、高速な推論を実現する。
• 理論的分析を用いて、適応プロセスが新しいクラスにうまく一般化する条件を導出する。
• 事前学習されたベースモデルを用いて適応段階を制約し、少サンプルタスク間で一般化可能な表現を学習することを保証する。
• 閉形式解を介して事前学習と適応を統一的に最適化するフレームワークを採用し、少サンプルサポートセットにおける過学習を低減する。
• 適応ダイナミクスに関する理論的知見を踏まえて、一般化を促進するベースモデルの学習目的を設計する。
• miniImageNetを含む4つのベンチマークで本手法を適用し、一貫した性能向上を達成した。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、一般化性能を向上させる理論的根拠を持つ高速で閉形式の少サンプル学習用適応手法を設計できるか？
• RQ2 適応プロセスにどのような制約を課すと、新しいクラスに対してより良い一般化が達成できるか？
• RQ3 反復的微調整やメタラーニングと比較して、閉形式解は少サンプル状況で優れた性能を示せるか？
• RQ4 ベースモデルの学習目的の選択が、適応段階における一般化にどのように影響するか？
• RQ5 理論的裏付けに基づいた適応手法は、多様な少サンプルベンチマークでどの程度最先端の性能を達成できるか？

主な発見

• 提案手法の閉形式適応は、5ショットのminiImageNetベンチマークで87.75%の正確度を達成し、既存手法を著しく上回った。
• 5ショットのminiImageNetにおいて、従来の最先端手法と比較して約10%の性能向上を達成した。
• 理論的分析により、閉形式適応アプローチの妥当性が確認され、well-generalizedなベースモデルの学習に役立つ指針が得られた。
• 評価した4つのベンチマークすべてで最先端の性能を達成し、広範な有効性を示した。
• 閉形式解により、反復的最適化を必要とせず高速な推論が可能となり、実世界の展開に適している。
• 事前学習されたベースモデルを用いて適応を制約することで、新しいクラスに対してより良い一般化が達成されることを実証した。