[論文レビュー] Finitely convergent algorithm for nonconvex inequality problems

C. H. Jeffrey Pang|arXiv (Cornell University)|May 28, 2014

Optimization and Variational Analysis参考文献 9被引用数 4

ひとこと要約

本稿では、ヒルバート空間における非凸不等式問題（NIP）を解く有限収束型アルゴリズムを提示する。Clarkeの超微分と支持半空間を用い、近似的な凸性と距離正則性を活用することで、局所的条件下で有限収束を保証する。Fukushimaの凸可能性に関する有限収束結果を、局所的収束保証のもとで非凸設定に拡張する。

ABSTRACT

We extend Fukushima's result on the finite convergence of an algorithm for the global convex feasibility problem to the local nonconvex case.

研究の動機と目的

• 凸不等式問題におけるFukushimaの有限収束結果を非凸ケースに拡張すること。
• 目的関数が近似的に凸である場合に、非凸不等式問題（NIP）に対して局所的有限収束を確立すること。
• 非滑らかおよび変分解析の道具、特にClarkeの超微分と距離正則性を用いて収束を分析すること。
• 近似的な凸性と正則性の仮定のもとで、アルゴリズムが有限ステップで終了することを証明すること。
• 交互射影法を、有限収束保証のもとで非凸設定に一般化すること。

提案手法

• アルゴリズムは、Clarkeの一般化された超微分からの部分勾配を用いて、各反復点における支持半空間を定義する。
• 各反復で、複数の支持半空間からなる多面体集合に現在の反復点を射影することで、次の点を得る。
• 反復点が集合 $\{x : f(x) \leq 0\}$ に近づくように、減少する許容誤差パラメータ $\epsilon_i$ の列を導入する。
• 有限収束は背理法により確立される：無限反復を仮定すると、$\epsilon_i$-下位集合への距離の部分線形減衰と矛盾する。
• 解析は距離正則性と近似的な凸性に依存しており、射影ステップが解集合への距離を十分に減少させることを保証する。
• 重要な不等式により、反復点と射影点の間の角度が制御され、距離の線形減少率を確保する。

実験結果

リサーチクエスチョン

• RQ1 滑らかさの仮定を弱めた条件下でも、非凸不等式問題に対して有限収束を保証できるか？
• RQ2 目的関数にどのような局所的条件が成立すれば、交互射影法が有限に収束するか？
• RQ3 近似的な凸性は、勾配に基づくアルゴリズムの収束挙動にどのように影響するか？
• RQ4 変分解析の道具を用いて、凸問題における有限収束結果を非凸設定に拡張できるか？
• RQ5 距離正則性は、アルゴリズムの有限終了を保証するために果たす役割は何か？

主な発見

• 近似的な凸性と距離正則性の条件下で、非凸不等式問題（NIP）に対してアルゴリズムが有限収束を達成する。
• 有限終了は背理法により証明される：無限反復を仮定すると、$\epsilon_i$-下位集合への距離の部分線形減衰が生じるが、幾何学的・変分的解析により得られる線形減少と矛盾する。
• 距離 $d(x_i, S_{\epsilon_i})$ は線形速度で減少し、$\sqrt{1 - \frac{1}{3}r^2}$ で有界である。ここで $r = 1/(\kappa \sup \|s'\|)$ である。
• 証明により、$x_i$ の多面体 $P_i$ への射影が、$\|x_{i+1} - p_i\|^2 \leq \|x_i - p_i\|^2 - \frac{1}{3}\|x_{i+1} - x_i\|^2$ を満たすことが示され、十分な減少が保証される。
• 幾何的に $\angle p_i \tilde{x}_i^{(j)} x_i > \pi/2$ が確立され、$p_i$ がスケーリングされた多面体 $\tilde{P}_i$ 内にあることが保証され、収束に不可欠である。
• 結果はヒルバート空間で成り立ち、近似的な凸性と超微分解析を用いて、Fukushimaの凸有限収束結果を非凸ケースに一般化する。