[論文レビュー] Consensus-Based Optimization on the Sphere: Convergence to Global Minimizers and Machine Learning

Massimo Fornasier, Hui Huang+2 more|arXiv (Cornell University)|Jan 31, 2020

Stochastic processes and financial applications参考文献 62被引用数 23

ひとこと要約

本稿では、球面上の非凸関数のグローバル最小化を目的として、確率的カーランモト＝ヴィスェック型モデルに基づくコンSENSUSベース最適化（CBO）アルゴリズムを提案する。初期条件が適切に準備された場合、収束速度 $N^{-1}$ の収束を示し、次元に依存しない。この結果は、位相再構成やロバスト部分空間検出といった高次元問題において数値的にも裏付けられている。

ABSTRACT

We investigate the implementation of a new stochastic Kuramoto-Vicsek-type model for global optimization of nonconvex functions on the sphere. This model belongs to the class of Consensus-Based Optimization. In fact, particles move on the sphere driven by a drift towards an instantaneous consensus point, which is computed as a convex combination of particle locations, weighted by the cost function according to Laplace's principle, and it represents an approximation to a global minimizer. The dynamics is further perturbed by a random vector field to favor exploration, whose variance is a function of the distance of the particles to the consensus point. In particular, as soon as the consensus is reached the stochastic component vanishes. The main results of this paper are about the proof of convergence of the numerical scheme to global minimizers provided conditions of well-preparation of the initial datum. The proof combines previous results of mean-field limit with a novel asymptotic analysis, and classical convergence results of numerical methods for SDE. We present several numerical experiments, which show that the algorithm proposed in the present paper scales well with the dimension and is extremely versatile. To quantify the performances of the new approach, we show that the algorithm is able to perform essentially as good as ad hoc state of the art methods in challenging problems in signal processing and machine learning, namely the phase retrieval problem and the robust subspace detection.

研究の動機と目的

• 非凸グローバル最適化における球面上のコンセンサスベース最適化の理論的収束保証を確立すること。
• 勾配法が失敗または適用不可能な機械学習および信号処理分野における高次元非凸最適化の課題に対処すること。
• 粒子のコンセンサスダイナミクスを通じて局所最小値を回避する、勾配フリーでスケーラブルな最適化手法を開発すること。
• 初期データが適切に準備された条件下で、グローバル最小値への収束を厳密に証明し、CBO手法における理論的ギャップを埋めること。

提案手法

• 粒子は、粒子位置の重み付き平均として計算されるコンセンサス点へのドリフトを伴う確率的微分方程式（SDE）に従って球面上を進化する。重みはラプラスの原理に基づく目的関数に依存する。
• 目的関数値が低い粒子が優遇されることで、コンセンサス点はグローバル最小値を近似する。
• コンセンサスに達すると消えるように、コンセンサス点からの距離に比例した分散を持つ確率的ノイズ成分を導入する。
• 平均場極限を用いた解析により、時間の経過とともにグローバル最小値に収束する決定的PDEが得られる。
• 数値実装では、SDEの時間分割スキームを用い、粒子の更新は明示的積分とコンセンサス計算に基づく。
• 本手法は非常に汎用的であり、コスト関数 $\mathcal{E}$ の再定義のみで新しい問題に適応可能で、構造的なコード変更は不要である。

実験結果

リサーチクエスチョン

• RQ1 初期条件が適切に準備された場合、球面上のコンセンサスベース最適化はグローバル最小値に証明可能に収束するか？
• RQ2 球面上のCBO手法の収束速度は何か？ また、粒子数や次元にどのように依存するか？
• RQ3 機械学習および信号処理で一般的な高次元非凸最適化問題において、本アルゴリズムは有効かつロバストに機能するか？
• RQ4 理論的収束挙動と、位相再構成やロバスト部分空間検出といった実用的応用における数値的性能の関係は何か？
• RQ5 代替の解析手法を用いることで、初期データに対する「適切な準備」の条件を理論枠組みから除去可能か？

主な発見

• 初期データが適切に準備された場合、本手法はグローバル最小値への収束を証明し、球面上のCBOに対する最初の理論的保証を達成した。
• 収束速度は粒子数 $N$ に対して $O(N^{-1})$ であり、次元 $d$ に依存しない。定数は $d$ に対して線形的かつ目的関数の範囲に対して指数的に依存する。
• 収束速度は $\lambda\vartheta - 2(d-1)e^{\alpha(\overline{\mathcal{E}} - \underline{\mathcal{E}})}\sigma^2$ として明示的に計算可能であり、適切なパrameter設定下で指数的減衰を示す。
• 数値実験により、高次元（$d \approx 3000$ まで）でも安定した性能を示し、次元の呪いが見られないことを確認した。
• 位相再構成やロバスト部分空間検出といった挑戦的なタスクにおいて、最先端手法と同等またはそれ以上の性能を示した。
• 初期データの適切な準備要件は、証明技法上の技術的制限であり、実用的障壁ではない。実験では一様初期化でも常にグローバル収束が得られた。