[論文レビュー] A consensus-based global optimization method for high dimensional machine learning problems

José A. Carrillo, Shi Jin+2 more|arXiv (Cornell University)|Sep 19, 2019

Stochastic Gradient Optimization Techniques参考文献 41被引用数 11

ひとこと要約

本稿では、等方的ブラウン運動を成分別ノイズに置き換え、ミニバッチ平均化を用いることで、次元に依存しないコンSENSUSベース最適化手法を、高次元機械学習問題に提案する。次元に依存しないパrameter制約のもとで時間的に指数的収束を証明し、高次元タスクにおいて数値的に検証されている。

ABSTRACT

We improve recently introduced consensus-based optimization method, proposed in [R. Pinnau, C. Totzeck, O. Tse and S. Martin, Math. Models Methods Appl. Sci., 27(01):183--204, 2017], which is a gradient-free optimization method for general non-convex functions. We first replace the isotropic geometric Brownian motion by the component-wise one, thus removing the dimensionality dependence of the drift rate, making the method more competitive for high dimensional optimization problems. Secondly, we utilize the random mini-batch ideas to reduce the computational cost of calculating the weighted average which the individual particles tend to relax toward. For its mean-field limit--a nonlinear Fokker-Planck equation--we prove, in both time continuous and semi-discrete settings, that the convergence of the method, which is exponential in time, is guaranteed with parameter constraints {\it independent} of the dimensionality. We also conduct numerical tests to high dimensional problems to check the success rate of the method.

研究の動機と目的

• 勾配法が勾配の消失／爆発により失敗する非凸で高次元の最適化問題に対する挑戦に対処すること。
• 従来のコンセンサスベース最適化（CBO）手法における次元依存性を克服するために、等方的ノイズを成分別ノイズに置き換えること。
• 重み付き平均の計算にランダムなミニバッチサンプリングを導入することで、CBOにおける計算コストを低減すること。
• 次元に依存しないパrameter制約のもとで、連続的および半離散的設定において収束を厳密に保証すること。
• 数値実験を通じて、本手法の高次元最適化問題における有効性を示すこと。

提案手法

• 元のCBOにおける等方的幾何ブラウン運動を、次元に依存しないドリフトレートを排除する成分別ノイズに置き換えること。
• 粒子のコンセンサス点（重み付き平均）の近似にミニバッチ戦略を導入することで、1反復あたりの計算コストを低減すること。
• 収束行動の分析のため、平均場極限を非線形フォッカー・プランク方程式として定式化すること。
• ラプラースの原理とギブズ測度を用いて、系の不変測度を目的関数のグローバル最小値と関連付けること。
• 連続時間および半離散的スキームにおいて、次元に依存しないパrameter制約のもとで時間的指数的収束を証明すること。
• 伊藤積分とグロワールド型不等式を用いて、粒子系の安定性および収束バウンドを導出すること。

実験結果

リサーチクエスチョン

• RQ1 コンセンサスベース最適化手法は、高次元非凸問題において次元に依存しない収束を達成できるか？
• RQ2 等方的ノイズを成分別ノイズに置き換えると、CBOの収束速度およびスケーラビリティにどのような影響を与えるか？
• RQ3 コンセンサス点のミニバッチ近似は、計算コストを低減しつつ収束性を保持できるか？
• RQ4 平均場極限において、パラメータ（λ, σ, β）の十分条件として、次元dに依存しない指数的収束が達成されるための条件は何か？
• RQ5 本手法は、標準的な勾配フリー手法と比較して、高次元機械学習問題においてどのように数値的に性能を発揮するか？

主な発見

• 連続的および半離散的設定の両方において、時間的指数的収束が達成され、収束レートは問題の次元dに依存しない。
• 収束のためのパラメータ制約（特にλ, σ, β）は次元にスケーリングされず、高次元問題へのスケーラビリティを可能にする。
• 成分別ノイズの使用により、元の等方的CBO定式化に見られる次元依存のドリフトレートが排除される。
• コンセンサス点のミニバッチ近似は、計算コストを低減しつつ収束性を保持する。重み付き平均における誤差の理論的バウンドによりこれを示している。
• 数値実験により、本手法が高次元最適化問題において高い成功確率を示すことが確認された。
• 粒子系の平均場極限は、グローバル最小値の周辺に集中する測度に収束し、β → ∞ において不変測度が最小値におけるディラックデルタに近づく。