[論文レビュー] Piecewise deterministic simulated annealing

Pierre Monmarché|HAL (Le Centre pour la Communication Scientifique Directe)|Oct 7, 2014

Theoretical and Computational Physics参考文献 19被引用数 27

ひとこと要約

本稿では、ℝᵈ 上の速度ジャンプ過程を用いた区分的決定的シミュレーテッドアニーリングアルゴリズムを提案する。1次元では、低温における局所的最小値からの脱出時間について、Eyring–Kramers型の公式を導出し、グローバル最小値への収束を保証する必要十分な冷却スケジュール条件（古典的拡散過程と類似）を確立する。高次元への拡張は、非最適な十分条件を用いて行う。

ABSTRACT

Given an energy potential on the Euclidian space, a piecewise deterministic Markov process is designed to sample the corresponding Gibbs measure. In dimension one an Eyring-Kramers formula is obtained for the exit time of the domain of a local minimum at low temperature, and a necessary and sufficient condition is given on the cooling schedule in a simulated annealing algorithm to ensure the process converges to the set of global minima. This condition is similar to the classical one for diffusions and involves the critical depth of the potential. In higher dimension a non optimal sufficient condition is obtained.

研究の動機と目的

• Fokker-Planck拡散過程の代替として、速度ジャンプを伴う区分的決定的マコフ過程（PDMP）を活用することで、シミュレーテッドアニーリングにおける効率性の向上を図ること。
• 低温状態における準安定性を分析し、運動論的PDMPを用いて局所的最小値からの脱出時間の推定を行うこと。
• グローバル最小値への収束を保証する1次元における必要十分な冷却スケジュール条件を確立し、古典的シミュレーテッドアニーリングの結果と類似させること。
• 上記のアルゴリズムフレームワークを高次元に拡張し、同じ枠組み下での収束を保証する非最適な十分条件を提示すること。
• 不確実性と経路構造が、確率的最適化におけるエネルギー障壁とエントロピー障壁を克服する上での慣性の役割を調査すること。

提案手法

• ℝᵈ × 𝕊ᵈ⁻¹ 上にPDMPを設計し、dXₜ = Yₜdt と定義される運動方程式に従い、Yₜ が単位球面上でジャンプ過程として進化することにより、ジャンプ間は決定的運動を保証する。
• 無限小生成作用素を Lf(x,y) = y∂ₓf(x,y) + λ(x,y)(f(x,−y) − f(x,y)) の形で定義し、ジャンプ率 λ を選択することで、不変測度が e⁻ᵁ⁽ˣ⁾dx ⊗ (δ₁ + δ₋₁)/2 に比例するように保証する。
• 時間とともに減少する冷却スケジュール εₜ を導入し、同質PDMPを非同質過程に変換することで、シミュレーテッドアニーリングに適した形に変換する。
• 冷却スケジュールの減衰率を用いて、過程の分布と目的のギブス測度との全 Variation 距離をバウンディングするため、離散時間のリャプノフ型議論を適用する。
• ラプラス法と経路近似技術を用いて、特に低温状態における局所的最小値からの脱出確率を推定する。
• 文献[19]および[15]の議論を適応し、積分推定と平衡からの距離の指数的減衰を用いて収束バウンディングを導出する。

実験結果

リサーチクエスチョン

• RQ1 速度ジャンプを伴う区分的決定的マコフ過程を用いて、シミュレーテッドアニーリングにおけるギブス測度の効率的サンプリングが可能か？
• RQ2 低温状態における1次元ポテンシャルランドスケープにおいて、局所的最小値からの脱出時間の分布は何か？また、臨界的深さとはどのように関係するか？
• RQ3 本PDMPを用いた1次元シミュレーテッドアニーリングにおいて、グローバル最小値集合へのほとんど確実な収束を保証する冷却スケジュールは何か？
• RQ4 速度ジャンプ過程に起因する慣性は、拡散的ダイナミクスと比較して、準安定性や局所的最小値からの脱出にどのように影響を与えるか？
• RQ5 高次元において、本PDMPに基づくアニーリングフレームワーク下でグローバル最小値への収束を保証する冷却スケジュールの十分条件は何か？

主な発見

• 1次元では、低温における局所的最小値からの脱出時間はEyring–Kramers型の公式を満たし、脱出率はポテンシャル障壁の深さに依存する。
• グローバル最小値への収束を保証する必要十分な冷却スケジュール条件が導出され、古典的拡散過程と類似した形で、ポテンシャルの臨界的深さ E* を含む。
• 冷却スケジュールは十分に遅く減少する必要があり、∫(1/εₜ)dt が発散するようにする。これにより、各温度レベルでの混合時間の確保が可能になる。
• 高次元においては、非最適な十分条件が確立され、同じリャプノフ議論と減衰率解析に依拠する。
• 過程の分布と目的のギブス測度との全 Variation 距離は、冷却スケジュールのパrameter に依存する γ > 0 に対して O(t⁻ᵞ) の速度で減少する。
• ヒューリスティックな証拠から、速度ジャンプ過程は特に経路構造と慣性が有利な場合、拡散過程よりもエントロピー障壁をより効率的に克服できる可能性がある。