[論文レビュー] Nonconvex set intersection problems: From projection methods to the Newton method for super-regular sets

C. H. Jeffrey Pang|arXiv (Cornell University)|Jun 27, 2015

Advanced Optimization Algorithms Research参考文献 32被引用数 3

ひとこと要約

本稿は、超正則集合（super-regular sets）を活用することで、凸集合交差問題から非凸集合交差問題へSHQP（支持半空間および二次計画法）戦略を拡張する。超正則集合は構造的非凸集合であり、望ましい変分的性質を有する。本稿では、超正則性のもとでSHQP法の線形収束を証明し、問題の幾何構造がニュートン型手法に適合する場合には超線形的および二次的収束を確立する。これにより、非凸可解問題に対する実用的な加速フレームワークが提供される。

ABSTRACT

The problem of finding a point in the intersection of closed sets can be solved by the method of alternating projections and its variants. It was shown in earlier papers that for convex sets, the strategy of using quadratic programming (QP) to project onto the intersection of supporting halfspaces generated earlier by the projection process can lead to an algorithm that converges multiple-term superlinearly. The main contributions of this paper are to show that this strategy can be effective for super-regular sets, which are structured nonconvex sets introduced by Lewis, Luke and Malick. Manifolds should be approximated by hyperplanes rather than halfspaces. We prove the linear convergence of this strategy, followed by proving that superlinear and quadratic convergence can be obtained when the problem is similar to the setting of the Newton method. We also show an algorithm that converges at an arbitrarily fast linear rate if halfspaces from older iterations are used to construct the QP.

研究の動機と目的

• 凸集合に対して有効であったSHQP戦略を、超正則集合を用いて非凸設定へ拡張すること。
• 非凸設定におけるSHQP法の収束保証（線形、超線形、二次的）を確立すること。
• 射影履歴と二次計画法を組み合わせることで、非凸交差に対しても高速収束を達成できることを示すこと。
• 古くなった半空間を削除するか、ウォームスタート技術を用いることで、計算効率を維持するアルゴリズム戦略を提供すること。

提案手法

• 射影によって生成された支持半空間を用いて、交差集合の多面体近似を定義する。
• 各反復で、これらの半空間の交差集合への射影を求める二次計画問題（QP）を解き、新たな反復点を得る。
• 数値的安定性と計算効率を維持するため、古い半空間を削除する。QPソルバにはウォームスタート技術を適用する。
• 反復射影とQPに基づく精錬を組み合わせ、進捗を保証するためバックトラッキングラインサーチまたはアクティブセット法を用いる。
• 理論的分析では、超正則性を活用して、解の近傍で射影が分離半空間を生成することを保証する。
• グローバル戦略には、平均化射影の使用や、過去の反復点付近の領域を避けることが含まれ、停滞を防ぐ。

実験結果

リサーチクエスチョン

• RQ1 凸集合に対して有効であったSHQP戦略は、証明可能な収束性を有する非凸超正則集合へ拡張可能か？
• RQ2 非凸設定下でSHQP法がどのような条件下で超線形的または二次的収束を達成するか？
• RQ3 支持半空間の数をどのように管理すれば、計算コストが著しく増大することなく高速収束を達成できるか？
• RQ4 非凸問題で初期反復点が解から遠い場合に、収束を維持するためのどのグローバル戦略が有効か？

主な発見

• 弱い仮定のもとで超正則集合に対してSHQP法は線形収束を示し、凸収束結果を一般化する。
• 問題の幾何構造がニュートン法に類似している場合、SHQP法は超線形的および二次的収束を達成する。
• 古い半空間をQP部分問題に保持することで、任意に高速な線形収束が可能である。
• 古い半空間を削除しながらウォームスタートQPソルバを用いることで、計算効率が維持され、マラトス効果を回避できる。
• 特に交差集合が良好に条件付けられている場合、標準的な交互射影法よりも本手法が優れる。
• 数値例では、わずか数個の半空間でも高速収束が得られることが示され、実用的効率が示唆される。