[論文レビュー] Replica Exchange for Non-Convex Optimization

Jing Dong, Xin T. Tong|arXiv (Cornell University)|Jan 23, 2020

Stochastic Gradient Optimization Techniques参考文献 49被引用数 7

ひとこと要約

本稿では、勾配降下法（GD）とランジュヴィンダイナミクス（LD）を単純なレプリカ交換機構を介して組み合わせる新規最適化アルゴリズム、GDxLDを提案する。LDがGDより低い目的関数値を発見した場合、両者の位置が交換される。強い凸性が最適解の近傍で成り立つ条件下で、グローバルミニマムへの線形収束を達成し、非凸設定においてGDやLD単体よりも優れた性能を示す。

ABSTRACT

Gradient descent (GD) is known to converge quickly for convex objective functions, but it can be trapped at local minima. On the other hand, Langevin dynamics (LD) can explore the state space and find global minima, but in order to give accurate estimates, LD needs to run with a small discretization step size and weak stochastic force, which in general slow down its convergence. This paper shows that these two algorithms and their non-swapping variants. can ``collaborate" through a simple exchange mechanism, in which they swap their current positions if LD yields a lower objective function. This idea can be seen as the singular limit of the replica-exchange technique from the sampling literature. We show that this new algorithm converges to the global minimum linearly with high probability, assuming the objective function is strongly convex in a neighborhood of the unique global minimum. By replacing gradients with stochastic gradients, and adding a proper threshold to the exchange mechanism, our algorithm can also be used in online settings. We also study non-swapping variants of the algorithm, which achieve similar performance. We further verify our theoretical results through some numerical experiments and observe superior performance of the proposed algorithm over running GD or LD alone.

研究の動機と目的

• 非凸最適化における勾配降下法（GD）の限界、すなわち局所的ミニマに閉じ込められることを是正すること。
• 精度がミニマ付近で劣化し、収束が遅いこと、ノイズが多いことの問題を抱えるランジュヴィンダイナミクス（LD）を克服すること。
• GDの高速収束性とLDの探索能力を活かす協調的アルゴリズムを設計すること。
• やや弱い局所的凸性仮定の下で、提案手法の理論的収束保証を確立すること。

提案手法

• 2つの並列プロセスを実行する：1つはGD軌道、もう1つは離散化されたLD軌道。
• 各イテレーションで、LD軌道がGDよりも低い目的関数値を生成した場合、両者の位置が交換される。
• 交換版をGDxLD、非交換版をnGDxLDとして形式化し、両者とも同等の収束特性を示すことが示された。
• 交換メカニズムは、レプリカ交換サンプリングに由来し、ここでは並列温度法の特異極限として扱われる。
• 確率的勾配を用いたオンライン設定への拡張により、SGDxSGLDとnSGDxSGLDが得られた。
• 理論的分析には、カップリング論法、LDがグローバルミニマムの近傍に到達するまでの到達時間の上限、GD収束のための集中不等式が用いられた。

実験結果

リサーチクエスチョン

• RQ1 GDとLDを組み合わせたハイブリッドアルゴリズムは、非凸最適化においてグローバルミニマムへの収束をより速く、より信頼性高く達成できるか？
• RQ2 レプリカ交換メカニズムにより、LDの探索能力を活かしてGDが局所的ミニマから脱出可能か？
• RQ3 局所的凸性仮定の下で、このようなハイブリッドアルゴリズムの理論的収束速度はいかほどか？
• RQ4 確率的勾配を用いたオンライン設定へ拡張可能か？ その場合、収束保証は維持されるか？
• RQ5 交換ありと非交換ありのバージョンは、性能および理論的境界においてどのように比較されるか？

主な発見

• 目的関数が唯一のグローバルミニマの近傍で強く凸である場合、GDxLDは高確率でグローバルミニマムへの線形収束を達成する。
• ε-精度のための複雑度上限はO(log(1/ε))であり、これはグローバルな強い凸性下での標準GDと同等であるが、より弱い局所的仮定の下で成立する。
• 非交換バージョンであるnGDxLDは、GDxLDと同等の収束速度および複雑度上限を達成する。
• オンライン設定では、SGDxSGLDは、O(√ε)のオーダーのサブガウスノイズを有する確率的勾配下で、全体の複雑度がO(ε⁻¹ log(1/ε))であることを示した。
• 数値実験により、非凸最適化タスクにおいて、GDxLDおよびnGDxLDが単独のGDやLDよりも優れた性能を発揮することが確認された。