[論文レビュー] BI-MAML: Balanced Incremental Approach for Meta Learning

Yang Zheng, Jinlin Xiang+2 more|arXiv (Cornell University)|Jun 12, 2020

Domain Adaptation and Few-Shot Learning参考文献 23被引用数 5

ひとこと要約

BI-MAML は、災難的忘却を防ぎつつ、少量のショットで新しいタスクに迅速に適応できるように、段階的学習とモデルに依存しないメタラーニングを組み合わせた新しいメタラーニングフレームワークを提案する。ベースラインモデルのバランス学習戦略と三段階の訓練プロセス（ベースライン、ファインチューニング、適応）を用いることで、MNIST、SVHN、CIFAR-100 で最先端の精度と効率性を達成した。

ABSTRACT

We present a novel Balanced Incremental Model Agnostic Meta Learning system (BI-MAML) for learning multiple tasks. Our method implements a meta-update rule to incrementally adapt its model to new tasks without forgetting old tasks. Such a capability is not possible in current state-of-the-art MAML approaches. These methods effectively adapt to new tasks, however, suffer from 'catastrophic forgetting' phenomena, in which new tasks that are streamed into the model degrade the performance of the model on previously learned tasks. Our system performs the meta-updates with only a few-shots and can successfully accomplish them. Our key idea for achieving this is the design of balanced learning strategy for the baseline model. The strategy sets the baseline model to perform equally well on various tasks and incorporates time efficiency. The balanced learning strategy enables BI-MAML to both outperform other state-of-the-art models in terms of classification accuracy for existing tasks and also accomplish efficient adaption to similar new tasks with less required shots. We evaluate BI-MAML by conducting comparisons on two common benchmark datasets with multiple number of image classification tasks. BI-MAML performance demonstrates advantages in both accuracy and efficiency.

研究の動機と目的

• 過去に学習したタスクのパフォーマンスが低下することなく、新しいタスクを段階的に学習できるように、メタラーニングにおける災難的忘却を解消すること。
• 段階的学習とメタラーニングの長所を統合し、長期的な知識保持と、少数の例での新しいタスクへの迅速な適応を両立すること。
• ベースラインモデルが多様なタスクで均等に高い性能を発揮できるようにするバランス学習戦略を導入することで、訓練効率とモデルの汎化性能を向上させること。
• ベンチマークデータセットにおいて、段階的分類精度と少サンプル適応（メタテスト）の両面で最先端のパフォーマンスを達成すること。

提案手法

• 三段階の訓練パイプラインを実装する：(1) ベースライン—過去のタスクのパフォーマンスを維持しながら、新しいタスクに対して共有ベースモデル $M_B$ を段階的に訓練する。この際、過去のタスクのサンプルを一定サイズのメモリセットで保存する。
• ファインチューニング段階では、保存済みのメモリサンプルを用いて $M_B$ をタスク固有のサブモデル $M_F$ に適応させ、過去に学習したタスクのパフォーマンスを向上させる。
• ベースライン訓練中にバランス学習戦略を適用し、すべてのタスクでモデルが均等に汎化できるようにし、パフォーマンスのばらつきを低減し、安定性を向上させる。
• 新しいタスクからの少数のショットのみで $M_B$ を更新して新しい適応モデル $M_A$ を生成するメタ適応を実行することで、高速な少サンプル一般化を実現する。
• 適応段階でモデルに依存しないメタラーニング（MAML）の原則を活用するが、段階的学習をサポートし、忘却を防ぐためにメタ更新ルールを変更する。
• 固定サイズのバッファを用いたメモリリプレイにより、これまでに見たすべてのタスクの代表的なサンプルを保存し、段階的訓練中に継続的な知識保持を実現する。

実験結果

リサーチクエスチョン

• RQ1 災難的忘却を引き起こさずに、新しいタスクを段階的に学習できるようなメタラーニングフレームワークを設計できるか？
• RQ2 バランス学習戦略は、多様なタスクにわたるメタラーニングベースラインモデルの汎化性能と安定性をどのように向上させることができるか？
• RQ3 分類精度と訓練効率の両面で、BI-MAML は既存のメタラーニングおよび段階的学習手法をどの程度上回るか？
• RQ4 BI-MAML は、段階的学習（過去のタスクの精度）とメタテスト（新しいタスクへの適応）の両方で、同時に最先端のパフォーマンスを達成できるか？

主な発見

• MNIST（10タスク、1タスクあたり2クラス）において、BI-MAML は 88.99% の精度を達成し、2番目に高い手法である iTAML よりも 22.6% 高かった。
• CIFAR-100 において、BI-MAML は全タスク設定で2番目に高い手法である iTAML より平均で 5.63% の精度向上を達成した。
• 目標精度に到達するまでのエポック数が著しく少なかったため、特に CIFAR-100 のような大規模データセットにおいて、優れた訓練効率を示した。
• ファインチューニング評価では、BI-MAML は MNIST で 99.02%、SVHN で 98.42% の精度を達成し、GEM、DGR、RtF、RPS-net、iTMAL などすべてのベースラインを上回った。
• タスクサイズが増加する段階的学習（10、20、50クラス/タスク）においても、BI-MAML はそれぞれ 79.56%、77.0%、68.12% の精度を維持し、他のすべての手法を上回った。
• メタテスト（少サンプル適応）では、2クラス1ショット MNIST で 98.40%、5クラス5ショット CIFAR-100 で 71.81% の精度を達成し、MAML と同等またはわずかに下回るが、他の段階的学習手法を著しく上回った。