[論文レビュー] Truncated Back-propagation for Bilevel Optimization

Amirreza Shaban, Ching-An Cheng+2 more|arXiv (Cornell University)|Oct 25, 2018

Sparse and Compressive Sensing Techniques参考文献 32被引用数 18

ひとこと要約

本稿では、ハイパラメータチューニングおよびメタラーニングにおけるバイレベル最適化のため、下位最適化の逆伝播をKステップに制限する切り捨てられた逆モード微分（K-RMD）を提案する。勾配は下位最適化の反復的解法をKステップだけ逆伝播することで近似される。局所的強い凸性の下で理論的収束性を確立し、実験的にK-RMDが完全な逆伝播と同等の性能を達成するが、計算時間は半分で、メモリ使用量も顕著に削減されることを示した。

ABSTRACT

Bilevel optimization has been recently revisited for designing and analyzing algorithms in hyperparameter tuning and meta learning tasks. However, due to its nested structure, evaluating exact gradients for high-dimensional problems is computationally challenging. One heuristic to circumvent this difficulty is to use the approximate gradient given by performing truncated back-propagation through the iterative optimization procedure that solves the lower-level problem. Although promising empirical performance has been reported, its theoretical properties are still unclear. In this paper, we analyze the properties of this family of approximate gradients and establish sufficient conditions for convergence. We validate this on several hyperparameter tuning and meta learning tasks. We find that optimization with the approximate gradient computed using few-step back-propagation often performs comparably to optimization with the exact gradient, while requiring far less memory and half the computation time.

研究の動機と目的

• ネストされた最適化構造に起因する正確な勾配計算の高コストを緩和すること。
• 切り捨てられた逆伝播、特にKステップの逆モード自動微分（K-RMD）の理論的性質を分析すること。
• K-RMDが上位最適化目的関数の近似または正確な停留点に収束する十分条件を同定すること。
• K-RMDが完全な逆伝播と同等の性能を達成するが、計算時間とメモリ使用量を著しく削減することを実験的に検証すること。

提案手法

• 下位問題の反復的解法をKステップだけ逆伝播する、切り捨てられた逆モード自動微分手法K-RMDを提案する。
• 陰関数微分と下位最適化アルゴリズムのダイナミクスを介した自動微分を用いて、近似勾配を計算する。
• 下位問題が解の周囲で局所的に強く凸である場合、勾配近似誤差がKとともに指数的に減少することを示し、理論的収束性を確立する。
• ニューラルネットワークをOmniglotデータセットに適用し、50エピソードのメタトレーニング設定を用いて、ハイパラメータ最適化とメタラーニングタスクにこの手法を適用する。
• K-RMDと完全なRMD、1-RMDを実験的に比較し、さまざまなハイパラメータイテレーション数と逆伝播深さにおける精度、トレーニング時間、メモリ使用量を測定する。
• 勾配の不正確さと正確さの間のコサイン類似度と相対ℓ₂誤差を測定し、理論的減少特性を検証する。

実験結果

リサーチクエスチョン

• RQ1 バイレベル最適化において、K-RMDは上位目的関数の近似停留点にどのような条件下で収束するか？
• RQ2 K-RMDにおける勾配近似誤差は、逆伝播深さKを増加させることで指数的に減少するか？また、どのような仮定の下でそうなるか？
• RQ3 K-RMDの性能は、一般化誤差や精度といった応用指標において、完全な逆モード微分（完全RMD）と比べてどうか？
• RQ4 K-RMDは実際の応用において、計算時間とメモリ使用量を削減しながら、完全RMDと同等の性能を達成できるか？
• RQ5 勾配近似誤差の指数的減少は実験的に観察されるか？また、それは下位問題の局所的強い凸性に依存するか？

主な発見

• Omniglotデータセットにおいて、K-RMDは完全RMDと同等のテスト精度を達成し、10-RMDでは15,000回のハイパラメータイテレーションで97.8％の精度に到達した。
• K=10での切り捨てられた逆伝播により、1イテレーションあたりの計算時間が2.2秒の完全RMDと比べ0.7秒にまで短縮され、約3倍の高速化が達成された。
• 正則化モデルにおいて、K-RMDと完全RMDの勾配間の相対ℓ₂誤差はKとともに指数的に減少し、強い凸性の下での理論的指数的減少を確認した。
• 不正確な勾配と正確な勾配の間のコサイン類似度は、トレーニング全体を通して正のままであり、K-RMD勾配が降下方向であることを示した。
• 1-RMDは1イテレーションあたりの収束が速いが、K-RMDのより深いバージョンに比べて精度が低く、短いホライズンが性能を制限していることが示唆された。
• 10-RMDを15,000回のハイパラメータイテレーション実行する方が、完全RMDを5,000回実行するよりも全体として高速であり、実際の応用において切り捨て手法がより効率的であることを示した。