[論文レビュー] Meta-learning with negative learning rates

Alberto Bernacchia|arXiv (Cornell University)|Feb 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 11被引用数 4

ひとこと要約

本論文は、メタラーニングの内側ループにおける負の学習率を導入し、特にMAMLに対して、過パラメータ化された線形および非線形モデルにおいて最適なパフォーマンスが負の学習率で達成されることを理論的に示している。ランダム行列理論と正確な解を用いて、負の学習率が正またはゼロの学習率よりも優れていることを証明し、内側ループの最適化が学習率がゼロのときには不要または非効率的であるという一般的な仮定に挑戦している。

ABSTRACT

Deep learning models require a large amount of data to perform well. When data is scarce for a target task, we can transfer the knowledge gained by training on similar tasks to quickly learn the target. A successful approach is meta-learning, or "learning to learn" a distribution of tasks, where "learning" is represented by an outer loop, and "to learn" by an inner loop of gradient descent. However, a number of recent empirical studies argue that the inner loop is unnecessary and more simple models work equally well or even better. We study the performance of MAML as a function of the learning rate of the inner loop, where zero learning rate implies that there is no inner loop. Using random matrix theory and exact solutions of linear models, we calculate an algebraic expression for the test loss of MAML applied to mixed linear regression and nonlinear regression with overparameterized models. Surprisingly, while the optimal learning rate for adaptation is positive, we find that the optimal learning rate for training is always negative, a setting that has never been considered before. Therefore, not only does the performance increase by decreasing the learning rate to zero, as suggested by recent work, but it can be increased even further by decreasing the learning rate to negative values. These results help clarify under what circumstances meta-learning performs best.

研究の動機と目的

• 内側ループ最適化がメタラーニングにおいて本当に必要かどうかという論争を解消するために、内側ループ学習率の役割を分析すること。
• 特に過パラメータ化および非線形モデルにおけるMAMLの内側ループ学習率を変化させたときの理論的影響を調査すること。
• これまで未検討であった負の学習率が、ゼロまたは正の学習率よりも優れた一般化性能をもたらすかどうかを特定すること。
• 線形モデルからの理論的分析を、ニューラルタングェントカーネルフレームワークを用いて非線形モデルへと拡張すること。

提案手法

• ランダム行列理論を用いて、混合線形回帰におけるMAMLの平均テスト損失の正確な代数的表現を導出する。
• ニューラルタングェントカーネルフレームワークを適用し、広いニューラルネットワークをパラメータの線形関数として近似することで、非線形設定の理論的分析を可能にする。
• 大人口漸近論（大p、nt）を用いて、データ行列および共分散構造を含むトレース項の高次元期待値を計算する。
• テイラー展開およびオーダー推定（O(ξ⁻³/²)）を用いて、高次元極限における複雑なトレース表現を簡略化する。
• 重みの分散、ノイズ、およびデータ共分散の寄与を含む、内側ループ学習率αtの関数としてのテスト損失の閉形式表現を導出する。
• 線形および非線形回帰タスクにおける広範な実験を通じて、理論的予測の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 一般化性能の観点から、MAMLにおける内側ループ学習率の最適値は何か？
• RQ2 最近の実験的研究が示唆するように、内側ループを削除（つまり学習率をゼロに設定）すると最良のパフォーマンスが得られるのか？
• RQ3 内側ループにおける負の学習率は、正またはゼロの学習率よりも優れたテスト性能をもたらすか？
• RQ4 広いニューラルネットワークを備えた非線形モデルにおいても、負の学習率の優位性は維持されるか？
• RQ5 線形モデルからの理論的予測は、非線形的かつ過パラメータ化された設定へとどのように拡張されるか？

主な発見

• 過パラメータ化された混合線形回帰において、メタトレーニングの最適な内側ループ学習率は常に負であり、正またはゼロの学習率よりも低いテスト損失をもたらす。
• アンダーパラメータ化モデルでは、最適な学習率の絶対値が小さい場合、負の学習率が依然として最適であるが、その結果はより普遍的ではない。
• 理論的分析により、負の学習率が一般化性能を向上させる理由は、標準的な勾配降下の直感に反するが、メタ最適化プロセスの安定化に起因する。
• 実験的検証により、線形および非線形回帰タスクの両方において、負の学習率がゼロまたは正の学習率よりも顕著にテスト損失を低減することが確認された。
• 広いニューラルネットワークを備えた非線形モデルでは、予備的な実験により負の学習率が改善されたパフォーマンスをもたらすことが示唆されたが、完全な理論的証明は未解決のままである。
• 導出されたテスト損失の式は高次元極限において正確であり、内側ループ学習率に明示的に依存するため、ハイパーパramータの正確な最適化が可能となる。