[論文レビュー] Bridging Multi-Task Learning and Meta-Learning: Towards Efficient Training and Effective Adaptation

Haoxiang Wang, Han Zhao+1 more|arXiv (Cornell University)|Jun 16, 2021

Domain Adaptation and Few-Shot Learning参考文献 63被引用数 19

ひとこと要約

本稿は、多タスク学習（MTL）と勾配ベースメタラーニング（GBML）の理論的・実験的関係を確立し、両者が同じ最適化定式化を共有しており、過パラメータ化されたネットワークでは未学習タスクにおいてほぼ同一の予測を生成することを示している。主な貢献は、2次GBML手法（例：MetaOptNet）と比較して10倍以上高速でありながら、少サンプル分類性能で最先端水準を達成する1次MTL手法の開発である。

ABSTRACT

Multi-task learning (MTL) aims to improve the generalization of several related tasks by learning them jointly. As a comparison, in addition to the joint training scheme, modern meta-learning allows unseen tasks with limited labels during the test phase, in the hope of fast adaptation over them. Despite the subtle difference between MTL and meta-learning in the problem formulation, both learning paradigms share the same insight that the shared structure between existing training tasks could lead to better generalization and adaptation. In this paper, we take one important step further to understand the close connection between these two learning paradigms, through both theoretical analysis and empirical investigation. Theoretically, we first demonstrate that MTL shares the same optimization formulation with a class of gradient-based meta-learning (GBML) algorithms. We then prove that for over-parameterized neural networks with sufficient depth, the learned predictive functions of MTL and GBML are close. In particular, this result implies that the predictions given by these two models are similar over the same unseen task. Empirically, we corroborate our theoretical findings by showing that, with proper implementation, MTL is competitive against state-of-the-art GBML algorithms on a set of few-shot image classification benchmarks. Since existing GBML algorithms often involve costly second-order bi-level optimization, our first-order MTL method is an order of magnitude faster on large-scale datasets such as mini-ImageNet. We believe this work could help bridge the gap between these two learning paradigms, and provide a computationally efficient alternative to GBML that also supports fast task adaptation.

研究の動機と目的

• 多タスク学習（MTL）とメタラーニングの間の理論的・実践的関係を理解すること。
• MTLにおける学習効率とメタラーニングにおける高速適応能力のトレードオフを解消すること。
• 高速適応を可能にしながら、勾配ベースメタラーニング（GBML）の計算コストを抑えた代替手法を開発すること。
• 少サンプルベンチマークにおいて、MTLが最先端のGBMLアルゴリズムと同等の性能を達成することを実験的に検証すること。

提案手法

• 理論的分析により、MTLとGBMLの一部のアルゴリズムが同じ二段階最適化定式化を持つことが示された。
• 十分に深い過パラメータ化されたニューラルネットワークでは、MTLとGBMLの予測関数が関数空間において近いことが証明された。
• MTLとGBMLの予測の理論的差は、ネットワークの深さに反比例することが示された。
• 実験的検証として、合成データを用いてネットワークの深さが増すにつれて予測の類似度が向上することを示した。
• 1次MTLの実装を開発し、mini-ImageNetおよび他の少サンプルベンチマークで評価した。
• メタテスト用に、共有表現を共有して訓練し、特徴量上で線形分類器をファインチューニングする手法を採用した。

実験結果

リサーチクエスチョン

• RQ1 MTLとGBMLは同じ最適化定式化を共有しているか？
• RQ2 過パラメータ化されたネットワークにおいて、MTLは未学習タスクでGBMLと同等の予測性能を達成できるか？
• RQ3 MTLとGBMLの予測ギャップは、ネットワークの深さに反比例するか？
• RQ4 1次MTL手法は、精度と学習速度の両面で2次GBML手法を上回れるか？
• RQ5 MTLは、学習効率を維持しながら、未学習の少サンプルタスクへの高速適応を可能にするか？

主な発見

• MTLとGBMLは同じ最適化定式化を共有しており、GBMLはMTLのジョイントトレーニングの正則化版であることが示された。
• 過パラメータ化されたネットワークでは、MTLとGBMLの予測関数が近く、ネットワークの深さが増すにつれてギャップが小さくなることが確認された。
• 合成データでは、MTLとGBMLの予測類似度がネットワークの深さに応じて上昇し、理論的分析の妥当性が実証された。
• mini-ImageNetでは、提案手法のMTLは、最先端のGBML手法であるMetaOptNetと同等または優れた少サンプル分類精度を達成した。
• 1次最適化により、MetaOptNetと比較して学習が10倍以上高速でありながら、性能に劣らないことが確認された。
• 理論的拡張により、残差ReLUネットワークやLayerNormを備えたネットワークに対しても一般化可能であることが示された。