[論文レビュー] Generalized Inner Loop Meta-Learning

Edward Grefenstette, Brandon Amos+7 more|arXiv (Cornell University)|Oct 3, 2019

Domain Adaptation and Few-Shot Learning参考文献 34被引用数 88

ひとこと要約

本論文は、一般化された内部ループメタ学習を Gimli として定式化し、普遍的なアルゴリズムを導出し、さまざまなモデルとオプティマイザに対してそのようなネスト最適化を実装するための PyTorch ライブラリ higher を公開します。

ABSTRACT

Many (but not all) approaches self-qualifying as "meta-learning" in deep learning and reinforcement learning fit a common pattern of approximating the solution to a nested optimization problem. In this paper, we give a formalization of this shared pattern, which we call GIMLI, prove its general requirements, and derive a general-purpose algorithm for implementing similar approaches. Based on this analysis and algorithm, we describe a library of our design, higher, which we share with the community to assist and enable future research into these kinds of meta-learning approaches. We end the paper by showcasing the practical applications of this framework and library through illustrative experiments and ablation studies which they facilitate.

研究の動機と目的

• Meta-learning における内部-外部ループの共通パターンを定式化し、それを Gimli と名付ける。
• Gimli-compatible な手法の正確で効率的な実装を可能にする一般アルゴリズムを導出する。
• Gimli ベースのメタ学習手法の実装と実験を容易にする PyTorch ライブラリ（higher）を開発・公開する。
• フレームワークとライブラリによって可能となる研究方向を強調するような実践的な実験とアブレーションを通じて、実用的適用性を示す。

提案手法

• 外部のメタパラメータ集合が内部ループのモデルパラメータの最適化を支配する nested 最適化フレームワークを定義する。
• 勾配ベースのメタ学習が実現可能である条件と、内部ループを通じて逆伝播する方法を導出する（Gimli 2.4, 2.5）。
• 内部ループを展開し、stop-gradient 構成を介して高階勾配を逆伝播する正確な Gimli 更新アルゴリズムを提示する（Algorithm 1）。
• Gimli における状態を持つモジュールと微分可能なオプティマイザを PyTorch で実用化する higher ライブラリを導入・説明する（モンキーパッチ、微分可能なオプティマイザ）。
• 例を提供し、ハイパーパラメータ学習や MAML スタイルの初期化など、Gimli互換のメタ学習の変種を説明する関連研究を紹介する。

実験結果

リサーチクエスチョン

• RQ1 統一された形式論が、多様なネスト最適化メタ学習手法をどのように捉えられるか？
• RQ2 Gimli 風のメタ訓練を可能にする正確な勾配ベースの要件は何か？
• RQ3 モデルとオプティマイザの選択に依存しない、一般的で効率的な Gimli 更新をどのように実装できるか？
• RQ4 研究者が最小のコード変更で Gimli 互換のメタ学習を実装できる実用的なライブラリを構築できるか？

主な発見

• Gimli は、いくつかの最近のメタ学習アプローチを単一の形式的枠組みの下に包含する。
• 一般的で正確なアルゴリズム（Algorithm 1）は、内部ループを通じた微分可能で逆伝播可能なメタ訓練を可能にする。
• higher ライブラリは、Canonical ではない PyTorch コード変更を最小限に抑えて Gimli 互換の手法を実装することを可能にする。
• このフレームワークは、学習率や損失パラメータ化などのメタ学習の構成要素に関するアブレーション研究と実験をサポートする。
• 論文は、ネスト最適化研究を容易にする微分可能な最適化と状態を持つモジュールの扱いに関する実用的考慮事項について論じる。