[論文レビュー] Generalized Adaptation for Few-Shot Learning

Liang Song, Jinlu Liu+1 more|arXiv (Cornell University)|Nov 25, 2019

Domain Adaptation and Few-Shot Learning参考文献 30被引用数 6

ひとこと要約

本論文は、一般化適応（Generalized Adaptation）を提案する。これは、適応段階での一般化性能を向上させるために閉形式のベースラーナーを用いる、新しい少サンプル学習フレームワークである。理論的裏付けを提供し、4つのベンチマークに適用することで、最先端の性能を達成した。特に、5ショットのminiImageNetでは87.75%の精度を達成し、従来手法と比較して約10%高い性能を示した。

ABSTRACT

Many Few-Shot Learning research works have two stages: pre-training base model and adapting to novel model. In this paper, we propose to use closed-form base learner, which constrains the adapting stage with pre-trained base model to get better generalized novel model. Following theoretical analysis proves its rationality as well as indication of how to train a well-generalized base model. We then conduct experiments on four benchmarks and achieve state-of-the-art performance in all cases. Notably, we achieve the accuracy of 87.75% on 5-shot miniImageNet which approximately outperforms existing methods by 10%.

研究の動機と目的

• 事前学習後の適応段階を再考することで、少サンプル学習における一般化性能を向上させること。
• 強い理論的根拠のない反復的適応に依存する従来手法の限界を解消すること。
• 適応段階中に制約を課すことでモデルの一般化性能を向上させる、閉形式のベースラーナーを提案すること。
• 提案された適応メカニズムの妥当性を裏付ける理論的分析を提供すること。

提案手法

• 反復的最適化を経ずに適応重みを直接計算する閉形式のベースラーナーを採用する。
• 事前学習済みのベースモデルを用いて適応プロセスを制約し、安定的かつ一般化可能な特徴学習を確保する。
• 理論的分析を用いて、最適な一般化を達成するためのベースモデルの学習条件を導出する。
• miniImageNetを含む4つの標準的少サンプル学習ベンチマークに本手法を適用し、性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 少サンプル学習における適応段階を、より効果的かつ理論的根拠をもって改善できるか？
• RQ2 事前学習済みのベースモデルは、一般化された新規モデル性能を実現するために果たす役割は何か？
• RQ3 閉形式の適応メカニズムは、反復的適応を上回る性能を少サンプル設定で達成できるか？
• RQ4 提案手法は、多様なベンチマークで一貫した最先端性能を達成できるか？

主な発見

• 提案手法は、5ショットのminiImageNetベンチマークで87.75%の精度を達成し、従来手法を顕著に上回った。
• 5ショットのminiImageNet設定において、従来の最先端手法よりも約10%の向上を達成した。
• 理論的分析により、閉形式の適応メカニズムの妥当性が確認され、良好な一般化性能を持つベースモデルの学習指針が得られた。
• 評価された4つのベンチマークすべてで最先端性能を達成し、広範な有効性を示した。