[論文レビュー] Guarantees for Tuning the Step Size using a Learning-to-Learn Approach

Xiang Wang, Shuai Yuan+2 more|arXiv (Cornell University)|Jun 30, 2020

Domain Adaptation and Few-Shot Learning参考文献 34被引用数 6

ひとこと要約

この論文は、勾配降下法のステップサイズを学習するためのメタ勾配降下法を用いた、学習する学習のための理論的保証を提供する。通常のメタ目的関数ではメタ勾配の爆発・消失が生じるが、対数変換された目的関数を用いることで、多項式的に有界な勾配が保証され、バックプロパゲーションでは依然として数値的問題が生じる。特に、データが限られているかノイズが多い状況では、メタ目的関数を別個の検証セットで訓練する（検証に基づく訓練）ことが一般化性能を確保するために不可欠であることが示され、ニューラルネットワークベースの最適化手法を用いた実験でも裏付けられている。

ABSTRACT

Choosing the right parameters for optimization algorithms is often the key to their success in practice. Solving this problem using a learning-to-learn approach -- using meta-gradient descent on a meta-objective based on the trajectory that the optimizer generates -- was recently shown to be effective. However, the meta-optimization problem is difficult. In particular, the meta-gradient can often explode/vanish, and the learned optimizer may not have good generalization performance if the meta-objective is not chosen carefully. In this paper we give meta-optimization guarantees for the learning-to-learn approach on a simple problem of tuning the step size for quadratic loss. Our results show that the naïve objective suffers from meta-gradient explosion/vanishing problem. Although there is a way to design the meta-objective so that the meta-gradient remains polynomially bounded, computing the meta-gradient directly using backpropagation leads to numerical issues. We also characterize when it is necessary to compute the meta-objective on a separate validation set to ensure the generalization performance of the learned optimizer. Finally, we verify our results empirically and show that a similar phenomenon appears even for more complicated learned optimizers parametrized by neural networks.

研究の動機と目的

• 勾配降下法のステップサイズを学習する学習的手法を用いて最適化する際のメタ勾配降下法の安定性と収束性を分析すること。
• 単純な二次関数設定ですでにメタ勾配が爆発または消失する理由を特定すること。
• 学習済み最適化手法の一般化性能を保証するために、メタ目的関数を別個の検証セットで計算する必要がある条件を同定すること。
• ニューラルネットワークでパrameter化されたより複雑な学習済み最適化手法に対して、理論的知見を実証的に検証すること。

提案手法

• 内側の最適化子（勾配降下法）の軌道に基づくメタ目的関数を最小化する形で、メタ最適化問題を定式化する。二次損失関数を想定する。
• 標準損失と対数損失の両方を用いたメタ勾配の挙動を分析し、対数損失のみが多項式的に有界な勾配を保証することを示す。
• メタステップサイズが $1/\sqrt{k}$ のとき、対数損失目的関数を用いることで、メタ勾配降下法が最適ステップサイズに収束することを証明する。
• 多項式的に有界であるにもかかわらず、対数損失目的関数への直接的なバックプロパゲーションは、指数的に大きな・小さな値の比を計算するため、数値的不安定性を引き起こすことを示す。
• 最小二乗回帰設定における2つのメタ目的関数戦略を導入・比較する：「トレイン・バイ・トレイン」（トレーニングセットを使用）と「トレイン・バイ・バリデーション」（別個の検証セットを使用）。
• MNISTに学習させたMLPを用いたニューラルネットワークベースの最適化手法において、データ量とノイズレベルを変化させた状況で、理論的知見を実証的に検証する。

実験結果

リサーチクエスチョン

• RQ1 標準損失をメタ目的関数として用いた場合、ステップサイズチューニングにおけるメタ勾配は爆発または消失するか？
• RQ2 メタ目的関数の変換（例：対数損失）により、メタ勾配が安定化され、収束が保証されるか？
• RQ3 多項式的に有界であるにもかかわらず、なぜ標準的なバックプロパゲーションは数値的に安定な対数損失メタ勾配を実装できないのか？
• RQ4 過学習を回避し、一般化性能を保証するために、メタ目的関数を別個の検証セットで計算する必要がある条件は何か？
• RQ5 単純な二次関数設定における理論的知見は、ニューラルネットワークでパrameter化されたより複雑な学習済み最適化手法へと拡張可能か？

主な発見

• 標準損失目的関数を用いた場合、二次的ステップサイズチューニング問題において、メタ勾配は爆発または消失し、最適化が不安定になる。
• 最終損失の対数をメタ目的関数として用いることで、メタ勾配が多項式的に有界に保たれ、収束が可能になる。
• 多項式的に有界であるにもかかわらず、対数損失目的関数への直接的なバックプロパゲーションは、指数的に大きな・小さな値の比を計算するため、数値的不安定性に起因して失敗する。
• データが限られているかノイズが多い状況では、「トレイン・バイ・バリデーション」が「トレイン・バイ・トレイン」を著しく上回り、特にサンプル数が次元数の一定割合（例：$n = d/2$）であり、ノイズが高い場合に顕著に優れる。
• サンプル数が十分に多い場合には、「トレイン・バイ・トレイン」でも理論的誤差境界 $d\sigma^2/n$ に近い性能を達成できる。
• MNISTに学習させたニューラルネットワークベースの最適化手法における実証的結果は、「トレイン・バイ・バリデーション」が「トレイン・バイ・トレイン」を上回ることを確認しており、特にラベルノイズや小規模データ環境下で顕著である。