[論文レビュー] Constrained Global Optimization by Smoothing

V. I. Norkin, Alois Pichler+1 more|arXiv (Cornell University)|Aug 16, 2023

Advanced Optimization Algorithms ResearchMathematics被引用数 3

ひとこと要約

本稿では、滑らかでないおよび不連続な関数の制約付きグローバル最適化のための新しい確率的逐次スムージング手法を提案する。制約を処理するために正確なペナルティ関数を組み合わせ、滑らかさのレベルを段階的に低下させることで、確率的有限差分勾配降下法を用いてグローバル収束を実現し、最大の小さな多角形のようなベンチマーク問題において高品質な解を得た。

ABSTRACT

This paper proposes a novel technique called "successive stochastic smoothing" that optimizes nonsmooth and discontinuous functions while considering various constraints. Our methodology enables local and global optimization, making it a powerful tool for many applications. First, a constrained problem is reduced to an unconstrained one by the exact nonsmooth penalty function method, which does not assume the existence of the objective function outside the feasible area and does not require the selection of the penalty coefficient. This reduction is exact in the case of minimization of a lower semicontinuous function under convex constraints. Then the resulting objective function is sequentially smoothed by the kernel method starting from relatively strong smoothing and with a gradually vanishing degree of smoothing. The finite difference stochastic gradient descent with trajectory averaging minimizes each smoothed function locally. Finite differences over stochastic directions sampled from the kernel estimate the stochastic gradients of the smoothed functions. We investigate the convergence rate of such stochastic finite-difference method on convex optimization problems. The "successive smoothing" algorithm uses the results of previous optimization runs to select the starting point for optimizing a consecutive, less smoothed function. Smoothing provides the "successive smoothing" method with some global properties. We illustrate the performance of the "successive stochastic smoothing" method on test-constrained optimization problems from the literature.

研究の動機と目的

• 一般（特に凸）の制約下で滑らかでないおよび不連続な関数のグローバル最適化を扱うこと。伝統的な勾配法では失敗する。
• 滑らかさの近似における局所最適化手法を用いても、グローバル探索の性質を保持する手法を開発すること。
• ペナルティ係数の選定を不要にするために、正確な非滑らかペナルティ関数法を採用すること。
• 滑らかさの関数における確率的勾配最適化を、ランダムな方向からの有限差分推定を用いて効率的に行えるようにすること。
• 本手法の有効性を、最大の小さな多角形問題を含む挑戦的なテスト問題において示すこと。

提案手法

• ペナルティ係数の調整を必要としない正確な非滑らかペナルティ関数法を用いて、制約付き最適化問題を非制約問題に変換する。
• 強力なスムージングから始め、滑らかさパラメータを段階的に低下させることで、元の関数を近似するカーネルに基づくスムージング操作の系列を適用する。
• 各スムージング関数を局所的に最小化するために、軌道平均化を用いた有限差分確率的勾配降下法を用いる。
• カーネル分布から抽出された確率的方向に沿った有限差分を用いて、スムージング関数の勾配を推定する。
• 以前の最適化実行で得られた結果を、その後続のより滑らかでない問題の初期点として活用し、収束性とグローバル探索の向上を図る。
• Gelfand-Zetlin-Nesterov法の枠組みを採用するが、局所的勾配降下の代わりに、グローバル性を高める多段階確率的手順を導入する。

実験結果

リサーチクエスチョン

• RQ1 勾配や部分勾配情報に依存せずに、スムージングに基づく手法が滑らかでないおよび不連続な制約付き問題に対してグローバル最適化を達成できるか。
• RQ2 カーネル帯域幅を減少させる逐次スムージングは、標準的な局所的スムージングと比較して、グローバル最小値への収束をどのように改善するか。
• RQ3 提案された確率的有限差分法の収束速度は、凸制約付き問題においてどの程度か。
• RQ4 非リプシッツ的および不連続関数に対して、既存の局所的最適化手法と比較して、本手法はどの程度優れたグローバル解の探索が可能か。
• RQ5 本手法は、最大の小さな多角形問題のような実世界のテスト問題において、どの程度効果的か。

主な発見

• 本手法は、n=500の場合に最大の小さな多角形問題を解き、理論的限界の0.7854に近い0.7588の最大面積を達成した。
• n=20の場合、500回の反復と132,264回の関数評価で、理想値0.7854に近い0.7680の解を得た。
• ボックス制約付き問題においても、収束が安定し、大きなnに対しても高品質な解が得られたことから、強力なグローバル探索能力を示した。
• 軌道平均化と確率的方向のサンプリングを用いることで、非滑らか関数において安定的かつ効率的な勾配推定が可能になった。
• 確率的有限差分法の収束速度を調査し、凸問題において有効であることが示され、理論的整合性が裏付けられた。
• 最小限のペナルティ係数調整で、近似的に最適な結果（例：n=4のとき0.4994 vs. 理想値0.5000）が得られ、正確なペナルティアプローチの有効性が検証された。