[論文レビュー] Bilevel Programming for Hyperparameter Optimization and Meta-Learning

Luca Franceschi, Paolo Frasconi+3 more|arXiv (Cornell University)|Jun 13, 2018

Domain Adaptation and Few-Shot Learning参考文献 37被引用数 110

ひとこと要約

要旨: 本論文は勾配ベースのハイパーパラメータ最適化とメタ学習を結ぶ統一的な二階層最適化フレームワークを提示し、few-shotタスクにおける学習-学習（learning-to-learn）の効果を示す。深いネットワークにおけるハイパー表現法を具体化し、近似的な内側-外側問題の収束性を理論的に保証する。

ABSTRACT

We introduce a framework based on bilevel programming that unifies gradient-based hyperparameter optimization and meta-learning. We show that an approximate version of the bilevel problem can be solved by taking into explicit account the optimization dynamics for the inner objective. Depending on the specific setting, the outer variables take either the meaning of hyperparameters in a supervised learning problem or parameters of a meta-learner. We provide sufficient conditions under which solutions of the approximate problem converge to those of the exact problem. We instantiate our approach for meta-learning in the case of deep learning where representation layers are treated as hyperparameters shared across a set of training episodes. In experiments, we confirm our theoretical findings, present encouraging results for few-shot learning and contrast the bilevel approach against classical approaches for learning-to-learn.

研究の動機と目的

• HOとMLを二階層最適化として統一的な数学的フレームワークとして動機づける。
• 近似的な内側-外側問題が合理的な条件の下で正確な二階層定式化に収束しうることを示す。
• 深層ネットワークにおけるエピソード間で共有表現を学習することでメタ学習のアプローチを具体化する。
• OmniglotとMiniImagenetのfew-shot学習ベンチマークで経験的な利点を示す。

提案手法

• HOとMLを内側目的関数L_lambdaと外側目的関数Eを用いた二階層問題として定式化する。
• 内側の最適化ダイナミクスをTステップで模擬してw_{T,λ}を得ることで、二階層問題を近似的に解く。
• 拡張した逆ハイパーグラデientアルゴリズムを用いてハイパーパラメータλを更新するハイパーグラデientを計算する。
• MLを、共有表現h_λをタスク間で学習し、各タスクg^jを学習することで実Instantiateする。
• 緩やかな仮定の下で近似問題が正確な二階層問題へ存在性と収束性を持つことを保証する理論結果を提供する。
• 内部反復回数Tが性能に与える影響を分析し、深層ネットの表現学習の実験を行う。

実験結果

リサーチクエスチョン

• RQ1 二階層定式化はHOとMLを単一の数学的フレームワークに統一できるか。
• RQ2 有限のTを用いた近似的な内側-外側解は、どの条件下で正確な二階層解に収束するか。
• RQ3 タスク間で共有ハイパー表現を学ぶことはfew-shot学習の性能を改善するか。
• RQ4 内側の最適化ステップ数Tはfew-shot設定における一般化と学習時間にどう影響するか。

主な発見

手法	Omniglot 5 クラス 1ショット	Omniglot 5 クラス 5ショット	Omniglot 20 クラス 1ショット	Omniglot 20 クラス 5ショット	MiniImagenet 5 クラス 1ショット	MiniImagenet 5 クラス 5ショット
Siamese nets (Koch et al., 2015)	97.3	98.4	88.2	97.0	-	-
Matching nets (Vinyals et al., 2016)	98.1	98.9	93.8	98.5	43.44±0.77	55.31±0.73
Neural stat. (Edwards and Storkey, 2016)	98.1	99.5	93.2	98.1	-	-
Memory mod. (Kaiser et al., 2017)	98.4	99.6	95.0	98.6	-	-
Meta-LSTM (Ravi and Larochelle, 2017)	-	-	-	-	43.56±0.84	60.60±0.71
MAML (Finn et al., 2017)	98.7	99.9	95.8	98.9	48.70±1.75	63.11±0.92
Meta-networks (Munkhdalai and Yu, 2017)	98.9	-	97.0	-	49.21±0.96	-
Prototypical Net. (Snell et al., 2017)	98.8	99.7	96.0	98.9	49.42±0.78	68.20±0.66
SNAIL (Mishra et al., 2018)	99.1	99.8	97.6	99.4	55.71±0.99	68.88±0.92
Hyper-representation	98.6	99.5	95.5	98.4	50.54±0.85	64.53±0.68

• 適切な連続性およびコンパクト性の仮定の下、近似的な二階層アプローチは内反復T→∞のとき正確な問題へ収束する。
• 早期停止（小さなT）は正則化として機能し、いくつかの設定で大きなTの解より一般化性能が良くなる可能性がある。
• ハイパー表現は、共有表現層を用いることでOmniglotとMiniImagenetのfew-shot精度を複数のベースラインと比較して向上させる。
• 表現写像として残差ネットワークを用いると、単純な畳み込みネットワークに比べてハイパー表現設定で性能が大幅に向上する。
• 提案されたHyper-representation法は、最先端のfew-shot学習手法と競合する結果を達成し、学習された共有表現の価値を強調する。