[論文レビュー] A closed loop gradient descent algorithm applied to Rosenbrock's function

Subhransu S. Bhattacharjee, Ian R. Petersen|arXiv (Cornell University)|Aug 29, 2021

Sparse and Compressive Sensing Techniques参考文献 21被引用数 5

ひとこと要約

本稿では、非凸最適化問題における収束を高速化するためにフィードバック制御に基づきダンピングを段階的に調整する、閉ループ勾配降下法Whiplashを提案する。現在の速度と勾配に基づく非線形フィードバック則を用いてモーメンタムを動的にチューニングすることで、Rosenbrock関数において高速かつ安定な収束を達成し、標準的なモーメンタムベースの手法やADAM、Nesterov法よりも優れた性能を発揮する。

ABSTRACT

We introduce a novel adaptive damping technique for an inertial gradient system which finds application as a gradient descent algorithm for unconstrained optimisation. In an example using the non-convex Rosenbrock's function, we show an improvement on existing momentum-based gradient optimisation methods. Also using Lyapunov stability analysis, we demonstrate the performance of the continuous-time version of the algorithm. Using numerical simulations, we consider the performance of its discrete-time counterpart obtained by using the symplectic Euler method of discretisation.

研究の動機と目的

• Rosenbrock関数のようにスペクトル条件数が非常に高い（κ = 2508）が、非凸で不適応性の高い問題において、一次の最適化手法の収束性の悪さを是正すること。
• Nesterov法やHeavy Ball法などのオープンループモーメンタム方式が、適応的制御を欠き、剛性系では不安定性や収束遅延を引き起こすという限界を克服すること。
• ダンピングをフィードバック制御変数として扱う制御理論的アプローチを採用し、勾配降下のダイナミクスを最適化することで、過渡応答と収束速度を向上させること。
• 特に高い曲率と深い谷を持つ問題において、オープンループモーメンタムと比較して閉ループ制御の優位性を、連続時間および離散時間の両方で示すこと。
• 連続時間系に対してリャプノフに基づく安定性解析を実施し、数値シミュレーションを通じてシンプレクティックEuler離散化による性能を検証すること。

提案手法

• ダンピングγ(t)を速度と勾配のフィードバック関数として定義する2階常微分方程式として連続時間系の慣性系を定式化：¨X + γ(t)˙X + ∇f(X) = 0。
• 非線形フィードバック則によるダンピング設計：αk = 1 − √s − k s ||zk||²、ここでzk = xk − xk−1はモーメンタムを表し、現在の状態に基づく適応的ダンピングを可能にする。
• 2段階の初期化を実装：1段階目は初期モーメンタムz1 = x1 − x0を設定するための標準的勾配降下を実行する。
• 幾何的構造と安定性を保持するため、時間離散化にシンプレクティックEuler法を採用する。
• ハイパーパramータ（学習率やモーメンタム減衰率など）を必要としないフィードバックループに基づく離散時間アルゴリズム（アルゴリズム1）を構築する。
• 収束解析を簡略化し、時間ステップ間での力学的幾何を維持するため、変数変換zk = √s vk−1を導入する。

実験結果

リサーチクエスチョン

• RQ1 ダンピングに対する閉ループフィードバック機構は、不適応性の高い非凸問題における勾配降下の収束速度と安定性を向上させ得るか？
• RQ2 現在の速度と勾配に基づく適応的ダンピングは、固定値またはオープンループモーメンタム方式と比較して、収束速度とロバスト性において優れているか？
• RQ3 Rosenbrock関数のような剛性系に対して、シンプレクティックEuler離散化を用いた離散時間版アルゴリズムの性能はいかがなものか？
• RQ4 提案された閉ループ系の収束を証明するため、リャプノフ安定性解析を適用可能か？また、そのリャプノフ関数の形はどのようなものか？
• RQ5 ADAM法やNesterov法と比較して、Rosenbrock関数において本アルゴリズムは収束速度が速く、特に厳密な収束閾値（ϵ = 10⁻⁸）を満たすまでに著しく少ない反復回数で到達できるか？

主な発見

• Whiplashアルゴリズムは、(5, -3)を含むすべてのテスト初期条件に対して、実用的な反復回数内でRosenbrock関数のグローバル最小値（(1,1)）に収束することが確認された。
• ステップサイズs ≤ 10⁻⁵の条件下では、不安定性やモーメンタムの爆発を回避し、標準的勾配法が失敗する状況でも収束を達成した。
• 数値結果では、モーメンタム成長に飽和現象が見られた（図6）、これは振動や発散を伴わず、安定的かつ制御された収束を示している。
• アルゴリズムの軌道（図8）は、長い細い谷に沿って滑らかで直接的な収束を示し、局所最小値やサドルポイントを回避している。
• ADAM法やNesterov法と比較して収束速度が優れており、ϵ = 10⁻⁸の精度に到達するまでに10⁵回未満の反復回数で十分に到達した。
• シンプレクティックEuler離散化は、系の幾何的構造を保持しており、離散時間実装における安定的かつ正確な数値的性能を保証している。