[論文レビュー] Meta-Learning with Implicit Gradients

Aravind Rajeswaran, Chelsea Finn+2 more|arXiv (Cornell University)|Sep 10, 2019

Domain Adaptation and Few-Shot Learning被引用数 217

ひとこと要約

論文は implicit MAML (iMAML) を導入します。メモリ効率の高いメタ学習法で、内側ループの最適化経路を微分せずに正確なメタ勾配を計算します。implicit differentiation と Hessian-vector products を用います。少数ショット認識のベンチマークで競争力のある、または優れた性能を達成しつつ、 meta-gradients を内部オプティマイザから切り離します。

ABSTRACT

A core capability of intelligent systems is the ability to quickly learn new tasks by drawing on prior experience. Gradient (or optimization) based meta-learning has recently emerged as an effective approach for few-shot learning. In this formulation, meta-parameters are learned in the outer loop, while task-specific models are learned in the inner-loop, by using only a small amount of data from the current task. A key challenge in scaling these approaches is the need to differentiate through the inner loop learning process, which can impose considerable computational and memory burdens. By drawing upon implicit differentiation, we develop the implicit MAML algorithm, which depends only on the solution to the inner level optimization and not the path taken by the inner loop optimizer. This effectively decouples the meta-gradient computation from the choice of inner loop optimizer. As a result, our approach is agnostic to the choice of inner loop optimizer and can gracefully handle many gradient steps without vanishing gradients or memory constraints. Theoretically, we prove that implicit MAML can compute accurate meta-gradients with a memory footprint that is, up to small constant factors, no more than that which is required to compute a single inner loop gradient and at no overall increase in the total computational cost. Experimentally, we show that these benefits of implicit MAML translate into empirical gains on few-shot image recognition benchmarks.

研究の動機と目的

• 勾配法ベースのメタ学習における内部ループの微分を伴うスケーラビリティ課題を動機づける。
• 内部解のみに依存し、最適化経路には依存しない暗黙の微分ベースのメタ勾配計算を提案する。
• iMAML アルゴリズムを開発し、内側の最適化を安定化させ、メモリ効率を可能にする近接正則化を適用する。
• 近似メタ勾配と計算の理論的保証を提供し、少数ショット学習タスクで経験的利益を示す。

提案手法

• メタ学習のための二レベル最適化を、メタパラメータ周りの近接項で正則化された内側問題として定式化する。
• 内側最適化解に対する暗黙的ヤコビアンを導出し、内ループを微分せずにメタ勾配を得る。
• デルタ正確な内側ソルバーと、共役勾配を用いて Hessian-vector 積を計算することでデルタ′近似ヤコビアンを用いる、実用的な iMAML アルゴリズムを導入する。
• 内側最適化を経由したバックプロパゲーションと同等の minimax 複雑さを保持しつつ、内側のステップに対して O(1) メモリを使用することを示す。
• 理論的保証を提供する：epsilon-近似のメタ勾配を、内側反復とは独立したメモリと CG ベースの Hessian-vector 積で得られる。
• Omniglot と Mini-ImageNet で、MAML および FOMAML と比較して競合的な性能と、計算・メモリのトレードオフの優位性を示す。

実験結果

リサーチクエスチョン

• RQ1 暗黙の微分は、内側の最適化パスを微分せずに正確なメタ勾配を得られるか？
• RQ2 iMAML のメモリと計算コストは、 inner-loop のステップ数が増えるにつれて標準の MAML と比較してどうなるか？
• RQ3 iMAML ベースのメタ勾配は、勾配消失を起こさず、より複雑な内側の最適化子とより大きなデータセットにスケールできるか？
• RQ4 少数ショットベンチマークでの経験的結果は、理論的なメモリ/計算上の利点と性能向上を裏付けているか？,

主な発見

• iMAML は、内側ループのステップ数に依存せずメモリを増やさずに正確なメタ勾配を計算でき、全体の計算量はバックプロパゲーションベースの手法と同程度である。
• 合成データのテストで、iMAML は漸近的に正確なメタ勾配に一致し、MAML より有限ステップでの近似が優れている。
• Omniglot では、内側ループが勾配降下法の iMAML は full MAML と競合し、1次元近似の変種よりも優れている。ヘッセ行列を用いない内側最適化はさらなる利得を提供する。
• Mini-ImageNet では、報告設定で iMAML が MAML および FOMAML より高い精度を達成している。
• 理論的結果は、CG ベースの Hessian-vector 積を用いたepsilon-近似のメタ勾配を、メモリ効率的な方法で得られ、iMAML が穏やかな前提の下で外部目的の定常点を見つけることを示している。