[論文レビュー] Meta-Learning with Fewer Tasks through Task Interpolation

Huaxiu Yao, Linjun Zhang+1 more|arXiv (Cornell University)|Jun 4, 2021

Domain Adaptation and Few-Shot Learning参考文献 44被引用数 11

ひとこと要約

本論文は、メタ学習の一般化性能を向上させるための新しい手法であるタスク内挿補間を用いたメタラーニング（MLTI）を提案する。MLTIは、既存のタスクペア間の特徴量とラベルを線形補間することで合成タスクを生成し、少数のメタトレーニングタスクにおいても一般化性能を向上させる。MLTIは画像、医療、分子分野の8つの多様なデータセットで性能を向上させ、勾配ベースおよびメトリックベースのメタラーニング設定の両方で最先端手法を常に上回り、少サンプル学習の状況下で最大3.5%の精度向上を達成した。

ABSTRACT

Meta-learning enables algorithms to quickly learn a newly encountered task with just a few labeled examples by transferring previously learned knowledge. However, the bottleneck of current meta-learning algorithms is the requirement of a large number of meta-training tasks, which may not be accessible in real-world scenarios. To address the challenge that available tasks may not densely sample the space of tasks, we propose to augment the task set through interpolation. By meta-learning with task interpolation (MLTI), our approach effectively generates additional tasks by randomly sampling a pair of tasks and interpolating the corresponding features and labels. Under both gradient-based and metric-based meta-learning settings, our theoretical analysis shows MLTI corresponds to a data-adaptive meta-regularization and further improves the generalization. Empirically, in our experiments on eight datasets from diverse domains including image recognition, pose prediction, molecule property prediction, and medical image classification, we find that the proposed general MLTI framework is compatible with representative meta-learning algorithms and consistently outperforms other state-of-the-art strategies.

研究の動機と目的

• 医療画像処理など、データプライバシーと可用性の制限によりタスクの多様性が制限される実世界の応用において、限られたメタトレーニングタスクの課題に対処すること。
• タスク分布のカバレッジが不十分なために、メタラーナーがスパースなメタトレーニングタスクを記憶してしまう一般化失敗を克服すること。
• モデルアーキテクチャの変更や既存タスク以外の追加データを必要とせず、タスク分布を密にすることを目的としたタスクレベルのオーグメンテーション戦略を開発すること。
• タスクレベルでのみ動作させることで、既存のメタラーニングアルゴリズムや正則化技術との互換性を保証すること。
• タスク補間がメタ一般化を改善するデータ適応型正則化効果を示すことを実証すること。

提案手法

• ランダムに抽出された既存のメタトレーニングタスクペア間の特徴量とラベルを線形補間することで、新しいメタトレーニングタスクを生成する。
• 2つのバリアントを実装する：同一クラス集合を有するタスク（例：RainbowMNIST）にはラベル共有（LS）を、互いにクラスが非交差するタスク（例：miniImageNet）には非ラベル共有（NLS）を適用する。
• LSでは特徴量とラベルの両方を補間する。NLSでは、2つの異なるタスクからのサンプリングされたクラスの特徴量を補間し、新しいクラスを形成する。
• 補間はメタトレーニング中にのみ適用し、メタテストでは元のタスク分布を保持する。
• 任意のメタラーニングアルゴリズム（例：MAML、ProtoNets）と統合可能であり、既存の正則化技術とも組み合わせ可能である。
• 理論的分析により、MLTIがデータ適応型メタ正則化として機能し、過学習を軽減し一般化性能を向上させることを示した。

実験結果

リサーチクエスチョン

• RQ1 利用可能なタスク数が限られている状況で、既存のメタトレーニングタスク間のタスク補間がメタ一般化性能を向上させることができるか？
• RQ2 MLTIは、個々のタスク内でのデータオーグメンテーションに依存する従来の手法よりも、より効果的な正則化を提供するか？
• RQ3 MLTIは画像認識、ポーズ推定、医療画像分類など、多様な分野で効果を発揮するか？
• RQ4 MLTIは勾配ベースおよびメトリックベースの両方のメタラーニングフレームワークと効果的に統合できるか？
• RQ5 タスク補間は、メタラーニングにおいて理論的に正当化された正則化効果をもたらすか？

主な発見

• MLTIは、miniImageNet、ISIC、DermNet、Huffpostを含む8つの実世界データセットにおいて、6つの最先端メタラーニング正則化手法を常に上回った。
• miniImageNet-Sの1ショット学習において、MLTIはMAMLの精度を、元のバージョンの38.27%から41.58%へと向上させ、3.31%の絶対的向上を達成した。
• 同じデータセットにおける5ショット学習では、MLTIがMAMLで55.22%の精度を達成し、元のバージョンの3.08%上回った。
• ミニマップ（miniImageNet → DermNet）のクロスドメイン適応において、MLTIは1ショット精度をMAMLで33.67%から36.74%へと向上させ、ドメイン転送性能が向上した。
• ProtoNetsを用いた場合、MLTIは5ショットのminiImageNet-Sで55.34%の精度を達成し、元のバージョンの5.02%上回った。
• MLTIは、NLP（Huffpost）や表形式データ（Tabular Murris）を含むすべての評価対象のバックボーンおよびデータセットで一貫した向上を示し、広範な互換性と有効性を確認した。