[論文レビュー] Modular Meta-Learning with Shrinkage

Yutian Chen, Abram L. Friesen+5 more|arXiv (Cornell University)|Sep 12, 2019

Topic Modeling参考文献 48被引用数 8

ひとこと要約

本稿では、ベイジアンスリッジングを用いてニューラルネットワーク内のタスク固有モジュールと再利用可能な一般モジュールを自動で同定するモジュラメタラーニングフレームワークを提案する。パラメータグループに学習可能な分散を持つガウス事前分布を割り当てることで、不要なモジュールが共有事前分布へと適応的にスリッジングされ、低データ環境下でもロバストで長時間にわたる適応が可能になる。少データのテキスト対音声合成およびオムニグラットタスクにおいて、MAML、Reptile、iMAMLを上回る性能を発揮するとともに、解釈可能なタスク固有モジュールを同定する。

ABSTRACT

Many real-world problems, including multi-speaker text-to-speech synthesis, can greatly benefit from the ability to meta-learn large models with only a few task-specific components. Updating only these task-specific modules then allows the model to be adapted to low-data tasks for as many steps as necessary without risking overfitting. Unfortunately, existing meta-learning methods either do not scale to long adaptation or else rely on handcrafted task-specific architectures. Here, we propose a meta-learning approach that obviates the need for this often sub-optimal hand-selection. In particular, we develop general techniques based on Bayesian shrinkage to automatically discover and learn both task-specific and general reusable modules. Empirically, we demonstrate that our method discovers a small set of meaningful task-specific modules and outperforms existing meta-learning approaches in domains like few-shot text-to-speech that have little task data and long adaptation horizons. We also show that existing meta-learning methods including MAML, iMAML, and Reptile emerge as special cases of our method.

研究の動機と目的

• 少サンプル音声合成や少サンプル分類に見られるような、低データ・長期間適応の状況で一般的に発生する過学習を解消すること。
• 手作業によるタスク固有モジュール設計の必要性を排除し、再利用可能で柔軟なモジュールを自動で発見すること。
• 過学習を回避しつつ多数の適応ステップをサポートできるスケーラブルな汎用的メタラーニングフレームワークを構築すること。
• MAML、Reptile、iMAML といった既存のメタラーニングアルゴリズムを、より包括的な階層ベイジアンスリッジングフレームワークの特殊ケースとして統一すること。
• データ量が増加しても性能を維持しつつ、低データ環境下での予測性能を向上させること。

提案手法

• 任意のニューラルネットワークをパラメータグループ（モジュール）に分割し、それぞれに学習可能なスカラー分散を持つガウス事前分布を割り当てる。
• ベイジアンスリッジングを適用：事前分布平均からの逸脱の証拠が低いモジュールは、事前分布に強く引き寄せられ、パラメータ共有が実現され、過学習が軽減される。
• 予測対数尤度を最大化する2つの原理的アプローチにより、事前分布の分散を推定し、多様なタスク間でのメタラーニングを可能にする。
• 高分散のタスク固有モジュールのみを逐次的に更新することで、一般モジュールは固定したまま、長期間にわたる完全なモデル適応を可能にする。
• 暗黙の微分と勾配ベース最適化を用いてスリッジング事前分布をエンドツーエンドで学習し、スケーラブルなメタトレーニングを実現する。
• スリッジングを無効化するか、すべてのモジュールを均一に扱う場合、標準的なメタラーニングアルゴリズムが特殊ケースとして回復する。

実験結果

リサーチクエスチョン

• RQ1 原理的ベイジアンスリッジングアプローチは、手作業によるアーキテクチャ設計なしに、最小限のタスク固有モジュール集合を自動で同定できるか？
• RQ2 スリッジングを用いたモジュラメタラーニングは、低データ・長期間適応環境下での一般化性能を向上させ、過学習を防止できるか？
• RQ3 MAML、Reptile、iMAML といった既存のメタラーニングアルゴリズムは、1つの階層ベイジアンフレームワークとして統一可能か？
• RQ4 同定されたモジュールは、畳み込みニューラルネットワークの最終層がタスク固有であるという従来のアーキテクチャ的直観と一致するか？
• RQ5 データ量が増加しても、手作業で設計されたモジュールによるボトルネックを回避し、性能を維持できるか？

主な発見

• 本手法は、タスク固有モジュールの少数で意味のある集合を同定し、画像分類タスクにおいて、常に第2・最終畳み込み層が最も適応可能であると特定される。
• 少サンプルオムニグラットでは、σ-Reptileが97.8±0.5%の正確度を達成し、標準的なReptile（96.9±0.6%）を有意に上回る。
• mini-ImageNetでは、σ-MAMLが92.3±0.8%の正確度を達成し、標準MAML（91.5±0.9%）を有意に上回る。
• テキスト対音声合成のタスクでは、長期間の適応過程において過学習を防止し、非モジュラーベースラインと比較して予測性能が向上する。
• 90%の実行回数で、最終2層が最もタスク固有であると同定され、既知のアーキテクチャ的知見と一致し、本手法の解釈可能性を裏付ける。
• すべてのモジュールに共通の事前分布を学習すると、標準的なメタラーニングに還元され、効果的なモジュラ同定にはモジュールごとの事前分布が必要であることを確認する。