[論文レビュー] Improved analysis of algorithms based on supporting halfspaces and quadratic programming for the convex intersection and feasibility problems

C. H. Jeffrey Pang|arXiv (Cornell University)|Jun 16, 2014

Optimization and Variational Analysis参考文献 27被引用数 3

ひとこと要約

この論文は、凸結合可能性および交差問題のアルゴリズムを、支持半空間と二次計画法（QP）を統合することで改善し、新たな正則性条件のもとで複数項の超線形的または二次収束を達成している。具体的には、第二階の支持超平面性質（SOSH）を導入している。本手法は有限の不実行性検出を可能とし、GoldfarbとIdnaniの双対アクティブセットQPアルゴリズムを用いて部分的QP解法により有用な反復点を得ており、大規模なQPの完全解法を回避している。

ABSTRACT

This paper improves the algorithms based on supporting halfspaces and quadratic programming for convex set intersection problems in our earlier paper in several directions. First, we give conditions so that much smaller quadratic programs (QPs) and approximate projections arising from partially solving the QPs are sufficient for multiple-term superlinear convergence for nonsmooth problems. Second, we identify additional regularity, which we call the second order supporting hyperplane property (SOSH), that gives multiple-term quadratic convergence. Third, we show that these fast convergence results carry over for the convex inequality problem. Fourth, we show that infeasibility can be detected in finitely many operations. Lastly, we explain how we can use the dual active set QP algorithm of Goldfarb and Idnani to get useful iterates by solving the QPs partially, overcoming the problem of solving large QPs in our algorithms.

研究の動機と目的

• 加速された射影法を用いて、凸結合可能性および交差問題（SIP）と凸不等式問題（CIP）における収束の遅さを解消すること。
• 既存のアルゴリズムで大規模な二次計画法（QP）を最適解まで解くことによる計算負荷の克服。
• より小さいQPと近似射影でも、非滑らか問題において高速収束が達成される条件の確立。
• SIPおよびCIPの不実行インスタンスに対して、有限回の操作で不実行性を検出可能にする。
• GoldfarbとIdnaniの双対アクティブセットQPアルゴリズムを用いて、ウォームスタートと部分的解法を組み合わせることで、実用的な実装を可能にする。

提案手法

• 個々の凸集合への射影から得られる支持半空間を用いて、交差集合Kの外挙近似を構築する。
• QPを用いて、これらの半空間の交差に反復点を射影する。QPのヘッセ行列には単位行列を用い、適切な定式化を確保する。
• 複数項の二次収束を可能にする正則性条件として、第二階の支持超平面性質（SOSH）を導入する。
• GoldfarbとIdnani（GIアルゴリズム）の双対アクティブセットQPアルゴリズムを用いてQPを部分的に解き、実行可能性を維持しつつ反復点を段階的に改善する。
• 内側のGIステップをサブルーチンとして用い、QPの完全解を得ることなく、SIPおよびCIPのためのより良い反復点を生成する。この際、解集合への距離が単調に減少することを活用する。
• GIアルゴリズムにおけるウォームスタートを活用し、外側反復間でQP解法の速度を向上させ、逐次的応用における効率性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 非滑らか凸結合可能性問題において、より小さいQPと近似射影が依然として複数項の超線形収束を達成できる条件は何か？
• RQ2 標準的な制約適合条件を超えた正則性条件として、SIPおよびCIPにおける複数項の二次収束を保証するものは何か？
• RQ3 SIPおよびCIPにおける不実行性は、有限回の操作で検出可能か。どのような仮定のもとで可能か？
• RQ4 大規模なQPの完全解が計算的に不可能な状況で、双対アクティブセットQPアルゴリズムを効果的に用いて有用な中間反復点を生成する方法は何か？
• RQ5 支持半空間とQPベースの射影を組み合わせることで、交差射影型手法の収束速度をどの程度向上できるか？

主な発見

• 本論文は、第二階の支持超平面性質（SOSH）のもとで、非滑らか設定下でもSIPおよびCIPにおいて複数項の二次収束が達成されることを確立している。
• 妥当な正則性条件下では、不実行性への有限収束が保証され、有限回の操作で不実行性の証明を生成可能である。
• Goldfarb–Idnaniの双対アクティブセットアルゴリズムによるQPの部分的解法により、最適解に到達する前でさえ、結合可能性問題における現在の反復点よりも厳密に良い反復点が得られる。
• GIアルゴリズムが生成する反復点の列は、解集合への距離が単調に減少し、各内側反復でとったステップのノルム以上に誤差が減少する。
• 内側のGIステップの使用により、外側反復間でQP解法のウォームスタートが可能となり、実際の計算コストが顕著に削減される。
• 提案手法は、多面体的外挙近似とQPベースの射影を活用することで、SIPおよびCIPにおいて超線形的または二次収束レートを達成しており、標準的な交互射影法を上回っている。