[論文レビュー] A Bridge Between Hyperparameter Optimization and Larning-to-learn.

Luca Franceschi, Michele Donini+2 more|arXiv (Cornell University)|Dec 18, 2017

Domain Adaptation and Few-Shot Learning参考文献 27被引用数 9

ひとこと要約

本論文は、内側の目的関数の動的挙動が外側の目的関数の更新を決定するネストされた最適化問題としてモデル化することにより、勾配ベースのハイパーパramータ最適化とメタラーニング（学びの学び）を統一的な枠組みで結びつける。このフレームワークにより、両者の設定で共通の最適化アルゴリズムが利用可能となり、初期の実験では少サンプル学習の状況で有望な結果が得られた。

ABSTRACT

We consider a class of a nested optimization problems involving inner and outer objectives. We observe that by taking into explicit account the optimization dynamics for the inner objective it is possible to derive a general framework that unifies gradient-based hyperparameter optimization and meta-learning (or learning-to-learn). Depending on the specific setting, the variables of the outer objective take either the meaning of hyperparameters in a supervised learning problem or parameters of a meta-learner. We show that some recently proposed methods in the latter setting can be instantiated in our framework and tackled with the same gradient-based algorithms. Finally, we discuss possible design patterns for learning-to-learn and present encouraging preliminary experiments for few-shot learning.

研究の動機と目的

• 勾配ベースのハイパーパramータ最適化とメタラーニングを、単一の最適化フレームワークとして統一すること。
• 教師あり学習におけるハイパーパramータと、学びの学びにおけるメタラーナーのパラメータの間の関係を形式化すること。
• 既存のメタラーニング手法が、提案されたフレームワーク内において、同じ勾配ベースのアルゴリズムで再解釈され、解かれる可能性があることを示すこと。
• フレームワークの構造に基づいて、効果的な学びの学びシステムを構築するための設計パターンを同定すること。
• 少サンプル学習における初期の実験を通じて、フレームワークの有効性を評価すること。

提案手法

• 問題をネストされた最適化としてモデル化：外側の目的関数が、内側の最適化問題の解に依存する形で定式化する。
• 内側最適化プロセスのダイナミクス（例：勾配降下の軌道）を、外側目的関数の勾配計算に明示的に組み込む。
• 内側最適化の結果に暗黙的に依存する外側変数の一般化された勾配更新ルールを導出する。
• 導出された勾配更新を、外側変数をハイパーパramータまたはメタラーナーのパラメータとして再解釈することで、ハイパーパramータ最適化とメタラーニングの両設定に適用する。
• 両設定に共通するアルゴリズムパイプライン（内側最適化プロセスへの誤差逆伝播）を用いる。
• フレームワークの構造的インサイトに基づいて、初期化および適応メカニズムなどのメタラーニングシステムを設計する。

実験結果

リサーチクエスチョン

• RQ1 ハイパーパramータ最適化とメタラーニングは、単一のネストされた最適化フレームワークとして正式に統一可能か？
• RQ2 内側最適化のダイナミクスをどのように外側目的関数の勾配に組み込むことで、統合的な最適化が可能になるか？
• RQ3 既存のメタラーニング手法が、この統一フレームワーク内でどれほど自然にインスタンス化され、解かれるか？
• RQ4 このフレームワークから、効果的な学びの学びシステムを構築するための設計パターンはどのようなものが浮かび上がるか？
• RQ5 標準的手法と比較して、このフレームワークは少サンプル学習ベンチマークでどの程度の性能を示すか？

主な発見

• 提案されたフレームワークは、勾配ベースのハイパーパramータ最適化とメタラーニングを、共通の数学的定式化のもとで成功裏に統一した。
• フレームワークにより、外側変数を再解釈することで、同じ勾配ベースの最適化アルゴリズムをハイパーパramータチューニングとメタラーニングの両方で適用可能とした。
• 最近提案された複数のメタラーニング手法が、このフレームワーク内で自然にインスタンス化可能であることが示され、共通のアルゴリズム的基盤がある可能性を示唆した。
• 初期の実験により、フレームワークの実現可能性と少サンプル学習設定における有効性が実証された。
• フレームワークは、新たなメタラーニングアーキテクチャの開発を支援する構造的設計パターンを明らかにした。