[論文レビュー] Finite-Time Convergence of Continuous-Time Optimization Algorithms via Differential Inclusions

Orlando Romero, Mouhacine Benosman|arXiv (Cornell University)|Dec 18, 2019

Advanced Optimization Algorithms Research参考文献 30被引用数 6

ひとこと要約

本稿では、微分包含とラプラウン法に基づく解析を用いて、コスト関数の厳密な局所最小値への有限時間収束を達成する非連続連続時間最適化アルゴリズムを提案する。有限時間安定性理論を微分包含へと拡張することで、所定の証明可能な定着時間内に収束を保証する二次の力学的システムを設計し、ローゼンブロック関数上での有効性を実証した。

ABSTRACT

In this paper, we propose two discontinuous dynamical systems in continuous time with guaranteed prescribed finite-time local convergence to strict local minima of a given cost function. Our approach consists of exploiting a Lyapunov-based differential inequality for differential inclusions, which leads to finite-time stability and thus finite-time convergence with a provable bound on the settling time. In particular, for exact solutions to the aforementioned differential inequality, the settling-time bound is also exact, thus achieving prescribed finite-time convergence. We thus construct a class of discontinuous dynamical systems, of second order with respect to the cost function, that serve as continuous-time optimization algorithms with finite-time convergence and prescribed convergence time. Finally, we illustrate our results on the Rosenbrock function.

研究の動機と目的

• 局所最小値への収束を漸近的ではなく有限時間で達成する連続時間最適化アルゴリズムの開発。
• 常微分方程式から微分包含へと有限時間安定性理論を拡張し、非滑らかで不連続なシステムに対応する。
• ラプラウンに基づく微分不等式を用いて、所定の有限時間内に収束を保証する二次の力学的システムの構築。
• 局所最小値への定着時間に対して、明示的かつ正確な上限と下限の境界を提供する。
• ベンチマークとなる非凸最適化問題、ローゼンブロック関数上での手法の妥当性の検証。

提案手法

• 微分包含の文脈において、有限時間安定性のためのラプラウンに基づく微分不等式条件を用いる。
• 勾配流および正規化勾配流に基づいて導出された、非連続な二次の力学的システムの2つの族を導入する。
• 収束行動の解析に、候補となるラプラウン関数 $ V(x) = \|\nabla f(x)\|^2 $ または $ V(x) = \|\nabla f(x)\|_1 $ を用いる。
• 不連続なベクトル場を扱うために、フィリッポフ解の概念を適用し、定義された軌道を保証する。
• ラプラウン関数の時間微分に対する上界を導出し、その値がゼロへと有限時間で減少することを保証する。
• 定着時間が明示的に境界づけられ、正確な条件下では正確に定められることを確立し、所定の有限時間収束を実現する。

実験結果

リサーチクエスチョン

• RQ1 微分包含を用いた連続時間最適化アルゴリズムにおいて、有限時間収束を保証することは可能か？
• RQ2 ラプラウンに基づく解析を、最適化に応用する不連続かつリプシッツでない力学的システムへとどのように拡張できるか？
• RQ3 どのようなクラスの二次の力学的システムが、明示的な定着時間とともに厳密な局所最小値への有限時間収束を保証するか？
• RQ4 定着時間を上限ではなく、正確に所定の値に設定することは可能か？
• RQ5 提案手法は、ローゼンブロック関数のような非凸で困難な最適化問題において、どのように性能を発揮するか？

主な発見

• 提案された力学的システムは、コスト関数の厳密な局所最小値への有限時間収束を達成し、定着時間に対して明示的な上界を保証する。
• ラプラウン微分不等式の正確な解が得られる場合、定着時間の境界は正確になり、所定の有限時間収束が実現可能となる。
• 微分包含を用いることで、不連続かつリプシッツでないベクトル場に対しても適用可能であり、従来のODEベースの手法を拡張する。
• 局所的強い凸性の仮定が満たされる限り、弱い仮定のもとで収束が保証される。
• ラプラウン関数 $ V(x) = \|\nabla f(x)\|^2 $ および $ V(x) = \|\nabla f(x)\|_1 $ に対して、両者とも有限時間安定性が確認され、$ \dot{V} \leq -c V^{\alpha} $（$ \alpha < 1 $）を満たす。
• ローゼンブロック関数上での検証により、予測された定着時間境界内に有限時間収束が実現したことが確認された。