[論文レビュー] A consensus-based global optimization method with adaptive momentum estimation

Jingrun Chen, Shi Jin+1 more|arXiv (Cornell University)|Dec 9, 2020

Sparse and Compressive Sensing Techniques被引用数 5

ひとこと要約

本稿では、Adamからの自己適応的モーメンタム推定とコンSENSUSベースの最適化を組み合わせた勾配フリーのグローバル最適化手法、Adam-CBOを提案する。1000次元のRastrigin関数の最小化において100%の成功を達成し、|x|^{0.5}のような微分不能な活性化関数を用いた低正則性解を有する偏微分方程式（PDE）を解く際にもAdamを上回る性能を示し、高次元で非凸な問題において線形スケーラビリティとロバスト性を示している。

ABSTRACT

Objective functions in large-scale machine-learning and artificial intelligence applications often live in high dimensions with strong non-convexity and massive local minima. First-order methods, such as the stochastic gradient method and Adam, are often used to find global minima. Recently, the consensus-based optimization (CBO) method has been introduced as one of the gradient-free optimization methods and its convergence is proven with dimension-dependent parameters, which may suffer from the curse of dimensionality. By replacing the isotropic geometric Brownian motion with the component-wise one, the latest improvement of the CBO method is guaranteed to converge to the global minimizer with dimension-independent parameters, although the initial data need to be well-chosen. In this paper, based on the CBO method and Adam, we propose a consensus-based global optimization method with adaptive momentum estimation (Adam-CBO). Advantages of the Adam-CBO method include: (1) capable of finding global minima of non-convex objective functions with high success rates and low costs; (2) can handle non-differentiable activation functions and thus approximate low-regularity functions with better accuracy. The former is verified by approximating the $1000$ dimensional Rastrigin function with $100\%$ success rate at a cost only growing linearly with respect to the dimensionality. The latter is confirmed by solving a machine learning task for partial differential equations with low-regularity solutions where the Adam-CBO method provides better results than the state-of-the-art method Adam. A linear stability analysis is provided to understand the asymptotic behavior of the Adam-CBO method.

研究の動機と目的

• 局所的最小値が多数存在する高次元で非凸な機械学習問題におけるグローバル最適化の課題に対処すること。
• 次元に依存しない収束パrameterを実現することで、コンセンサスベースの最適化（CBO）における次元の呪いを克服すること。
• 勾配ベースの手法が失敗する非微分可能関数や低正則性解を有するPDEにおける有効な最適化を可能にすること。
• CBOに自己適応的モーメンタム推定を統合することで、高次元グローバル最適化の収束性と成功率を向上させること。
• 滑らかでない、または微分不能な損失関数を有する問題に対して、ロバストでスケーラブルなAdamの代替手法を提供すること。

提案手法

• Adamからの自己適応的モーメンタム推定をコンセンサスベースの最適化（CBO）フレームワークに統合し、収束性と安定性を向上させること。
• 標準的なCBOにおける等方的幾何ブラウン運動を、次元に依存しない収束を保証する成分ごとの確率的過程に置き換えること。
• N個の粒子が目的関数値に基づいて重み付けされたコンセンサス点へ進化する粒子群ダイナミクスを採用すること。
• 指数的平均化により勾配の一次および二次モーメントの推定を通じて、自己適応的学習率を適用すること。
• 勾配の明示的計算に依存せず、粒子間の相互作用と目的関数評価に依存することで、勾配フリーの動作を維持すること。
• 線形安定性解析を用いて、Adam-CBO手法の漸近的挙動と収束特性を理解すること。

実験結果

リサーチクエスチョン

• RQ1 自己適応的モーメンタム推定を備えたコンセンサスベース手法は、次元に依存しないパrameterを用いて、高次元で非凸な最適化問題においてグローバル収束を達成できるか？
• RQ2 Adam-CBO手法は、1000次元のRastrigin関数のような高次元非凸関数の最小化において、どのように性能を発揮するか？
• RQ3 Adam-CBOは、勾配ベースの手法が失敗する非微分可能活性化関数（例：|x|^{0.5}）を有する問題を効果的に最適化できるか？
• RQ4 低正則性解を有するPDEを解く際、Adam-CBOはAdamと比較して、近似精度の観点でどのように性能を発揮するか？
• RQ5 大規模最適化タスクにおいて、Adam-CBOの計算コストは次元に対してどのようにスケーリングされるか？

主な発見

• Adam-CBOは1000次元のRastrigin関数の最小化において100%の成功率を達成し、計算コストは次元に比例して線形に増加する。
• 低正則性解を有するPDEを解く際、Adam-CBOは| x |^{0.5}活性化関数を用いて2次元で3.96×10⁻³のL²誤差、4次元で3.13×10⁻³のL²誤差を達成し、Adamを上回る性能を示した。
• 非微分可能な|x|^{0.5}活性化関数の使用により、ReLU、ReQu、またはシグモイドよりも、特異解の近似がより良好に実現された。
• 複数の次元にわたり、L²およびL∞ノルムの両方において、Adam-CBOは収束安定性と低い誤差率を示し、Adamを上回った。
• 線形安定性解析により、Adam-CBOの漸近的収束挙動が確認され、高次元環境下でのロバスト性が裏付けられた。
• 滑らかでない、非微分可能な損失関数を有する高次元で非凸な最適化領域においても、計算コストが低く、高い成功率を維持した。