[論文レビュー] Gradient-EM Bayesian Meta-learning

Yayi Zou, Xiaoqi Lu|arXiv (Cornell University)|Jun 21, 2020

Domain Adaptation and Few-Shot Learning参考文献 10被引用数 4

ひとこと要約

本稿では、勾配-EMにインspiredされたアルゴリズムを用いて内側更新とメタ更新を分離する、勾配-EMベイジアンメタラーニング（GEM-BML）という新しいベイジアンメタラーニングフレームワークを提案する。この手法は、メタ更新において誤差逆伝播を避けることで、少数のショット回帰、画像分類、強化学習のタスクにおいて、より高速な適応、改善された不確実性推定、および低コストな計算を実現する。

ABSTRACT

Bayesian meta-learning enables robust and fast adaptation to new tasks with uncertainty assessment. The key idea behind Bayesian meta-learning is empirical Bayes inference of hierarchical model. In this work, we extend this framework to include a variety of existing methods, before proposing our variant based on gradient-EM algorithm. Our method improves computational efficiency by avoiding back-propagation computation in the meta-update step, which is exhausting for deep neural networks. Furthermore, it provides flexibility to the inner-update optimization procedure by decoupling it from meta-update. Experiments on sinusoidal regression, few-shot image classification, and policy-based reinforcement learning show that our method not only achieves better accuracy with less computation cost, but is also more robust to uncertainty.

研究の動機と目的

• ベイジアンメタラーニングにおけるメタ更新の高い計算コスト、特に内側最適化ステップを逆伝播する場合の課題に対処する。
• ベイジアン推論を活用することで、少数のショット学習および強化学習における頑健性と不確実性のキャリブレーションを向上させる。
• 内側更新とメタ更新のプロセスを分離することで、最適化の選択肢の柔軟性を高め、分散型またはプライベートな学習を支援する。
• 従来、体系的に取り扱われていなかった強化学習設定に、経験的ベイズフレームワークを拡張する。
• 従来の勾配ベースのベイジアンメタラーニング手法が暗黙の微分や2次微分に依存するのとは対照的に、スケーラブルで効率的な代替手法を開発する。

提案手法

• 内側最適化パスを逆伝播せずにメタ勾配を計算する勾配-EMに基づくアルゴリズムを提案する。
• タスク固有のパラメータの事後分布の変分近似を用いることで、メタ損失勾配の効率的計算を可能にする。
• 内側最適化されたパラメータの最終値のみに依存するため、内側更新とメタ更新を分離する。
• 統一されたベイジアンメタラーニング定式化を用いて、教師ありおよび強化学習の両設定に適用する。
• ポリシーに基づく強化学習における安定な学習を可能にするために、$ L^{[2]} $ を変更した損失関数を導入する。
• 勾配-EM定理の理論的基盤を活用して、メタパラメータの安定的かつスケーラブルな更新ルールを導出する。

実験結果

リサーチクエスチョン

• RQ1 内側最適化プロセスを逆伝播せずに性能を維持できるベイジアンメタラーニング手法を設計できるか？
• RQ2 内側更新とメタ更新を分離することで、少数のショット学習における不確実性推定と頑健性にどのような影響を与えるか？
• RQ3 提案手法は、従来のベイジアンメタラーニングアプローチが苦戦していたポリシーに基づく強化学習に、成功裏に拡張可能か？
• RQ4 RL設定における$ L^{[2]} $変種の影響は、学習の安定性とパフォーマンスにどのような影響を与えるか？
• RQ5 精度や不確実性キャリブレーションを損なわずに、計算効率がどの程度向上するか？

主な発見

• 提案されたGEM-BML手法は、内側最適化ステップを逆伝播する必要がなくなることで、メタ更新における計算コストを削減する。
• GEM-BMLは、内側更新ステップ数を減らし、メモリ使用量を低く抑えながらも、正弦関数回帰および少数のショット画像分類で最先端のパフォーマンスを達成する。
• 強化学習では、$ L^{[2]} $ 変種のGEM-BMLが安定的かつ効果的な学習を可能にし、ポリシーに基づくRLにおける最初の成功裏のベイジアンメタラーニングフレームワークを示した。
• 決定論的MAMLや他の勾配ベースのベースラインと比較して、より信頼性の高い予測不確実性推定を提供する。
• 実験では、GEM-BMLが多数の内側更新ステップを用いても高い精度を維持する一方で、標準的なMAMLスタイルの手法では不可能な状況であることが示された。
• 分離された更新メカニズムにより、勾配がデバイス間で送信されないため、分散型およびプライバシー保護型メタラーニングへの応用が可能になる。