[論文レビュー] Successive Projection for Solving Systems of Nonlinear Equations/Inequalities

Wenjun Zeng, Jieping Ye|arXiv (Cornell University)|Dec 14, 2020

Sparse and Compressive Sensing Techniques参考文献 27被引用数 5

ひとこと要約

本稿は、非線形・非凸な制約集合に対して逐次的に射影を行うことで、大規模な非線形方程式および不等式系を解くための新しいSuccessive Projection (SP)フレームワークを導入する。非線形・非凸な設定において、SPの局所的線形収束性を初めて理論的に証明し、収束速度はヤコビ行列のホフマン定数に依存する。さらに、巡回的および確率的アプローチを凌駕する収束速度を実現する2つのグリーディ変種を提案する。

ABSTRACT

Solving large-scale systems of nonlinear equations/inequalities is a fundamental problem in computing and optimization. In this paper, we propose a generic successive projection (SP) framework for this problem. The SP sequentially projects the current iterate onto the constraint set corresponding to each nonlinear (in)equality. It extends von Neumann's alternating projection for finding a point in the intersection of two linear subspaces, Bregman's method for finding a common point of convex sets and the Kaczmarz method for solving systems of linear equations to the more general case of multiple nonlinear and nonconvex sets. The existing convergence analyses on randomized Kaczmarz are merely applicable to linear case. There are no theoretical convergence results of the SP for solving nonlinear equations. This paper presents the first proof that the SP locally converges to a solution of nonlinear equations/inequalities at a linear rate. Our work establishes the convergence theory of the SP for the case of multiple nonlinear and nonconvex sets. Besides cyclic and randomized projections, we devise two new greedy projection approaches that significantly accelerate the convergence. Furthermore, the theoretical bounds of the convergence rates are derived. We reveal that the convergence rates are related to the Hoffman constants of the Jacobian matrix of the nonlinear functions at the solution. Applying the SP to solve the graph realization problem, which attracts much attention in theoretical computer science, is discussed.

研究の動機と目的

• 最適化、偏微分方程式、信号処理などに現れる大規模な非線形方程式および不等式系を解くための一般的かつスケーラブルなフレームワークの開発。
• クラシカルな射影法（カツマルツ法やフォン・ノイマン法）を非線形・非凸な場合に拡張すること。
• 非線形・非凸な設定における逐次射影法の収束保証を初めて理論的に確立すること。
• 収束速度を向上させるために、グリーディ選択戦略を用いたSPの高速化バージョンを設計すること。
• 収束速度を幾何的性質、特に解におけるヤコビ行列のホフマン定数によって分析すること。

提案手法

• SPフレームワークは、現在の反復点を各非線形（不等式を含む）制約の実行可能集合に逐次射影することで反復を進める。
• これは、フォン・ノイマンの交互射影法、ブレーグマンの手法、およびカツマルツ法を非線形・非凸な制約に一般化したものである。
• 3つの変種を提案する：巡回的（CP）、確率的（RP）、および2つのグリーディアプローチ—グリーディ射影（GP）と正規化グリーディ射影（NGP）—により収束速度を向上させる。
• 収束解析は、解点における非線形関数のヤコビ行列のホフマン定数に依存する。
• 収束速度の理論的境界が導出され、ヤコビ行列の固有値およびノルムの性質に依存する線形収束が示される。
• 位相再構成およびグラフ実現問題への応用を通じて、数値実験で高速な収束を示している。

実験結果

リサーチクエスチョン

• RQ1 非線形方程式および不等式系に対して、逐次射影法が理論的に収束することが保証できるか？
• RQ2 非線形・非凸な設定における逐次射影法の収束速度は何か？ また、問題構造にどのように依存するか？
• RQ3 制約のグリーディ選択戦略は、巡回的および確率的スキームを凌駆する収束速度を向上させることができるか？
• RQ4 ヤコビ行列のホフマン定数は、SP法の収束速度にどのように関係するか？
• RQ5 SPフレームワークは、位相再構成やグラフ実現といった実世界の問題に、理論的収束保証とともに効果的に適用可能か？

主な発見

• SP法は、非線形方程式／不等式系の解への局所的線形収束を達成し、非線形・非凸な一般ケースにおいてこれが初めて理論的に証明された。
• 収束速度は、解におけるヤコビ行列のホフマン定数を含む要因によって上限が与えられ、SPの異なる変種に対してより緊密な境界が導出された。
• グリーディ射影（GP）および正規化グリーディ射影（NGP）変種は、すべてのSP変種の中で最も速い収束速度を達成し、CPおよびRPを著しく上回った。
• すべてのSP変種の反復複雑度は、η-精度を達成するためのO(log(1/η))であり、線形収束を確認した。
• 位相再構成および円の方程式に対する数値結果では、すべてのSP変種が線形に収束し、GPおよびNGPが最も速く、ウィルティンガー・フロー や ゲルチャーバーグ＝サクソン法といった標準的手法を上回った。
• 収束速度は制約の幾何的構造に依存し、解におけるヤコビ行列のホフマン定数によって定量化され、収束性が局所的な問題の条件数と関連づけられた。