[論文レビュー] Consensus-based optimization methods converge globally in mean-field law.

Massimo Fornasier, Timo Klock+1 more|arXiv (Cornell University)|Mar 28, 2021

Distributed Control Multi-Agent Systems参考文献 29被引用数 11

ひとこと要約

本稿は、非凸・非滑らかで局所リプシッツ連続な目的関数の広いクラスに対して、Consensus-Based Optimization (CBO) の平均場法におけるグローバル収束を確立する。提案手法は、最小値への二乗距離の勾配降下行動に根ざした新しい解析的技術を用い、エージェント数が無限大に近づく際、CBO が最適化問題を効果的に凸化することを証明する。初期化に関する仮定を最小限に抑えることが可能である。

ABSTRACT

In this paper we study consensus-based optimization (CBO), which is a multi-agent metaheuristic derivative-free optimization method that can globally minimize nonconvex nonsmooth functions and is amenable to theoretical analysis. Based on an experimentally supported intuition that CBO always performs a gradient descent of the squared Euclidean distance to the global minimizer, we derive a novel technique for proving the convergence to the global minimizer in mean-field law for a rich class of objective functions. The result unveils internal mechanisms of CBO that are responsible for the success of the method. In particular, we prove that CBO performs a convexification of a very large class of optimization problems as the number of optimizing agents goes to infinity. Furthermore, we improve prior analyses by requiring minimal assumptions about the initialization of the method and by covering objectives that are merely locally Lipschitz continuous. As a by-product of the analysis, we establish a quantitative nonasymptotic Laplace principle, which may be of independent interest.

研究の動機と目的

• 非凸および非滑らかな目的関数に対する Consensus-Based Optimization (CBO) のグローバル収束を理論的に正当化すること。
• グローバル最小値への距離のダイナミクスに根ざした新しい解析的枠組みを通じて、CBO の成功要因を解明すること。
• 初期化に関する仮定を軽減し、単に局所リプシッツ連続であるとされる目的関数に対しても収束保証を拡張すること。
• 解析の副産物として、定量的非漸近的ラプラース原理を確立すること。この原理は CBO を超える分野でも有用である可能性がある。

提案手法

• CBO がグローバル最小値への二乗距離に勾配降下を誘発することに着目した、新たな解析的技術を提案する。
• エージェント数が無限大に近づく際の CBO の平均場極限を分析し、時間発展する確率測度としてシステムをモデル化する。
• 平均場法を用いて、初期化に関する最小限の仮定のもとで、システムがグローバル最小値を中心とするデルタ測度に弱収束することを証明する。
• CBO が平均場極限において、広い非凸問題のクラスに対してある種の凸化を実行することを確立する。
• 確率解析および大偏差理論の道具を用いて、明示的な定量的バインディングを備えた非漸近的ラプラース原理を導出する。
• 目的関数の局所リプシッツ連続性を最小の正則性条件として用いる。これにより、先行研究の分析を拡張する。

実験結果

リサーチクエスチョン

• RQ1 非凸および非滑らかな目的関数に対して、最小限の仮定のもとで CBO のグローバル収束を厳密に証明するにはどうすればよいか？
• RQ2 CBO が局所最小値を回避しグローバルに収束する内部的ダイナミクス的メカニズムは何か？
• RQ3 平均場極限において、CBO は非凸最適化問題をどの程度効果的に凸化するのか？
• RQ4 CBO のダイナミクスから定量的非漸近的ラプラース原理を導出可能か？その意義は何か？
• RQ5 CBO の収束挙動はエージェントの初期化にどのように依存するか？

主な発見

• CBO は、非凸・非滑らかで局所リプシッツ連続な目的関数の豊かなクラスに対して、平均場極限においてグローバル最小値に収束する。
• エージェント数が増加するに従い、CBO は最適化問題を効果的に凸化する。このためグローバル収束が可能になる。
• 初期化に関する仮定を最小限に抑えたもとで収束が確立されており、先行研究に比べ顕著な改善がなされている。
• 解析の副産物として、定量的非漸近的ラプラース原理が得られ、エージェント数を用いた収束速度の明示的バインディングが得られる。
• 主なメカニズムは、グローバル最小値への二乗距離の勾配降下であり、これは厳密に導出され、証明において活用されている。
• 目的関数が微分可能でない場合でも、局所リプシッツ連続性のみに依存するため、本結果は成立する。