[論文レビュー] Infeasibility and error bound imply finite convergence of alternating projections

Roger Behling, Yunier Bello-Cruz+1 more|arXiv (Cornell University)|Aug 7, 2020

Sparse and Compressive Sensing Techniques参考文献 41被引用数 11

ひとこと要約

本稿では、2つの交差しない閉凸集合がリプシッツ的誤差バインディング条件を満たす場合、交互射影法（MAP）が有限回で収束することを確立している。驚くべきことに、非可解性—かつては障害と見なされてきた—とこのような誤差バインディングが組み合わさることで、多面体でない集合に対しても有限収束が保証され、集合間の距離が大きくなるほど、または誤差バインディングが強化されるほど収束速度が向上する。

ABSTRACT

This paper combines two ingredients in order to get a rather surprising result on one of the most studied, elegant and powerful tools for solving convex feasibility problems, the method of alternating projections (MAP). Going back to names such as Kaczmarz and von Neumann, MAP has the ability to track a pair of points realizing minimum distance between two given closed convex sets. Unfortunately, MAP may suffer from arbitrarily slow convergence, and sublinear rates are essentially only surpassed in the presence of some Lipschitzian error bound, which is our first ingredient. The second one is a seemingly unfavorable and unexpected condition, namely, infeasibility. For two non-intersecting closed convex sets satisfying an error bound, we establish finite convergence of MAP. In particular, MAP converges in finitely many steps when applied to a polyhedron and a hyperplane in the case in which they have empty intersection. Moreover, the farther the target sets lie from each other, the fewer are the iterations needed by MAP for finding a best approximation pair. Insightful examples and further theoretical and algorithmic discussions accompany our results, including the investigation of finite termination of other projection methods.

研究の動機と目的

• 2つの閉凸集合が交差しない場合の、交互射影法（MAP）の収束挙動を調査すること。
• 非可解性—通常は悪影響と見なされるが—が、MAPにおける収束を実際に加速させることはあるかを特定すること。
• MAPが有限回のステップで最良近似ペアに到達する、すなわち有限収束を達成する条件を同定すること。
• 最良近似ペア誤差バインディング（BAP誤差バインディング）とMAPの有限収束との間の関係を確立すること。
• 非可解性下での他の射影ベースの手法、すなわちサイクリックプロジェクション、チムノ、ダグラス＝ラッチャフォードについての分析を拡張すること。

提案手法

• 分析は、点から交わりまでの距離を個々の集合までの距離によって定量化するBAP誤差バインディング条件に基づく。特に、最適な支持超平面の文脈で検討される。
• 非可解性（X ∩ Y = ∅）とリプシッツ的誤差バインディングの両方の仮定のもとで、幾何学的および変分解析的手法を用いて有限収束を証明する。
• マルチセット可解問題を2セット問題に還元するために、パイエラの積空間再定式化を活用する。
• 直交射影の性質、接錐、および線形正則性や内在的横断性といった正則性概念を用いて理論的結果を導出する。
• MAP反復列の挙動と各ステップにおけるBAP誤差バインディングへの適合性を分析することで、有限終了条件を調査する。
• ホーラー型誤差バインディングの役割を説明し、有限収束の境界を探索するために、例と反例を用いる。

実験結果

リサーチクエスチョン

• RQ1 凸可解問題における非可解性が、交互射影法の有限収束をもたらすことは可能か？
• RQ2 非可解性と誤差バインディングの組み合わせが、MAPの有限収束を保証する条件は何か？
• RQ3 誤差バインディングの強度（例：リプシッツ型対ホーラー型）が、非可解性下でのMAPの収束速度にどのように影響するか？
• RQ4 サイクリックプロジェクション、チムノ、ダグラス＝ラッチャフォードなどの他の射影ベースの手法へ、有限収束はどの程度まで拡張可能か？
• RQ5 非多面体設定下で、BAP誤差バインディングとMAP列の有限終了との間に、関係があるか？

主な発見

• 2つの閉凸集合が互いに交差せず（非可解）、かつリプシッツ的誤差バインディングを満たす場合、MAPは有限収束を達成する。多面体でない集合に対しても同様に成り立つ。
• 空集合である交わりを有する多面体と超平面の組み合わせでは、BAP誤差バインディングは自動的に満たされ、MAPの有限収束が保証される。
• 集合間の距離が大きくなるほど、有限収束に要する反復回数が減少し、非可解性に有益な反応を示す。
• 誤差バインディングを改善することで（例：境界を急峻にする）、必要な反復回数が減少することが、反復回数が10から3に減少する例で示された。
• BAP誤差バインディングは、MAP列の有限収束にとって必要かつ十分な条件であり、有限収束が発生するのは、すべての反復ステップでこの条件が満たされている場合に限る。
• 二次関数または強凸関数を含む凸ミニマックス問題において、q=1のホーラー正則性に関する予想が成り立つ場合、MAPは有限収束または線形収束を達成する可能性があり、非滑らか最適化において実用的価値を有する。