[論文レビュー] Incremental Learning for Metric-Based Meta-Learners

Qing Liu, Orchid Majumder+3 more|arXiv (Cornell University)|Feb 11, 2020

Domain Adaptation and Few-Shot Learning参考文献 15被引用数 3

ひとこと要約

本論文は、メトリクスに基づくメタラーナーにおける継続的学習フレームワークを提案し、メタトレーニング中に継続的な適応が可能でありながら、深刻な忘却を回避する。新しいデータが到着する度に、既存のメトリクスに基づくアルゴリズムを用いてメタラーナーを段階的に更新することで、完全なデータセットでの学習と同等の性能を達成しつつ、安定性を維持する。

ABSTRACT

Majority of the modern meta-learning methods for few-shot classification tasks operate in two phases: a meta-training phase where the meta-learner learns a generic representation by solving multiple few-shot tasks sampled from a large dataset and a testing phase, where the meta-learner leverages its learnt internal representation for a specific few-shot task involving classes which were not seen during the meta-training phase. To the best of our knowledge, all such meta-learning methods use a single base dataset for meta-training to sample tasks from and do not adapt the algorithm after meta-training. This strategy may not scale to real-world use-cases where the meta-learner does not potentially have access to the full meta-training dataset from the very beginning and we need to update the meta-learner in an incremental fashion when additional training data becomes available. Through our experimental setup, we develop a notion of incremental learning during the meta-training phase of meta-learning and propose a method which can be used with multiple existing metric-based meta-learning algorithms. Experimental results on benchmark dataset show that our approach performs favorably at test time as compared to training a model with the full meta-training set and incurs negligible amount of catastrophic forgetting

研究の動機と目的

• 既存のメタラーニング手法が1つの静的メタトレーニングデータセットに依存するという制限を解決すること。
• 現実世界のシナリオにおいて、新しいデータが順次到着する状況でもメタラーナーの継続的適応を可能にすること。
• 複数の既存のメトリクスに基づくメタラーニングアルゴリズムと互換性を持つ汎用的な手法を開発すること。
• 少数ショット分類タスクにおける性能を維持しつつ、段階的更新中に深刻な忘却を最小限に抑えること。

提案手法

• 本手法は、メトリクスに基づくメタラーナーのメタトレーニング段階において、新しい段階的学習プロトコルを導入する。
• 新しいデータバッチが到着する度に、再訓練を伴わず、メタラーナーを段階的に更新できる。
• 内部表現容量を固定したまま、経験リプレイまたはパラメータ正則化を用いて忘却を低減する。
• プロトタイプネットワークやマッチングネットワークなどの既存のメトリクスに基づくメタラーナーと互換性を持つように設計されている。
• 段階的更新中に旧タスクと新タスクの両方を組み込むタスクサンプリング戦略を採用する。
• 段階的学習中に以前に学習済みのクラスからの知識を保持することで、安定した性能を確保する。

実験結果

リサーチクエスチョン

• RQ1 初期メタトレーニング後に新しいデータが到着した場合、メタラーナーを効果的に段階的に更新できるか？
• RQ2 段階的メタラーニングは、完全なデータセットでのメタトレーニングと比較して、テスト精度にどのように影響するか？
• RQ3 提案手法は、段階的更新中に深刻な忘却をどの程度軽減できるか？
• RQ4 本手法は、複数の既存のメトリクスに基づくメタラーニングアルゴリズムに適用可能で、一貫した性能向上をもたらすか？

主な発見

• 提案された段階的学習手法は、完全なメタトレーニングデータセットで学習した場合と同等のテスト性能を達成する。
• 深刻な忘却はほとんどなく、段階的更新中に以前に学習済みのクラスでの性能低下が最小限に抑えられる。
• 段階的更新後も、学習済みおよび新規の少数ショットタスクの両方で高い精度を維持する。
• 本手法は複数のベンチマークデータセットで有効であり、さまざまなメトリクスに基づくメタラーナーと互換性を持つ。
• 段階的トレーニングプロトコルにより、データが順次到着する現実世界の環境でのスケーラブルな展開が可能になる。