[論文レビュー] Projection Methods for Sparse Affine Feasibility: results and counterexamples

Robert Hesse, D. Lüke+1 more|arXiv (Cornell University)|Jul 8, 2013

Sparse and Compressive Sensing Techniques参考文献 27被引用数 9

ひとこと要約

この論文は、凸の緩和やヒューリスティクスに依存せずに、スパースなアフィン可解問題を解くための射影ベースの手法を調査する。交替射影法の局所的線形収束を証明し、典型的なスパースネス条件においてドーキング・ラッハフォード法が収束しないことを示しており、これはそれらが漸近的スパースネス最適化に不適切であることを示している。

ABSTRACT

Abstract. The problem of finding a vector with the fewest nonzero elements that satisfies an underdetermined system of linear equations is an NP-complete problem that is typically solved nu-merically via convex heuristics or nicely-behaved non-convex relaxations. In this work we consider elementary methods based on projections for solving a sparse feasibility problem without employing convex heuristics. We show that the fundamental method of alternating projections must converge locally linearly to a solution to the sparse feasibility problem with an affine constraint. Our analysis provides the radius of convergence and rate based on the angle of intersection of the sparsity set and the affine constraint. Under stronger assumptions on the intersection we also show local linear con-vergence, with radius of convergence, of the Douglas-Rachford algorithm. The stronger assumptions are in fact necessary for convergence of the Douglas-Rachford for affine feasibility. We show that these assumptions are not satisfied for most sparsity problems of interest, indicating that methods related to the Douglas-Rachford Algorithm, such as Alternating Directions Method of Multipliers, are not a promising algorithmic approach asymptotically for sparsity optimization.

研究の動機と目的

• 凸緩和やヒューリスティクスに依存せずに、スパースな可解問題のための射影ベースのアルゴリズムを分析すること。
• 交替射影法とドーキング・ラッハフォード法の収束行動を、スパースなアフィン可解問題において特定すること。
• これらの射影法が収束する条件を特定すること、特に集合間の角度といった幾何的性質に焦点を当てる。
• ドーキング・ラッハフォードおよび関連するADMM型手法が、大規模なスパースネス最適化問題に対して適切かどうかを評価すること。

提案手法

• アフィン制約集合とスパース（部分空間の和集合）集合との間で交替射影法を適用する。
• スパース集合とアフィン可解集合の間の交差角を、主要な幾何的パラメータとして用いて収束を分析する。
• 同じ可解問題にドーキング・ラッハフォードアルゴリズムを適用し、より強い幾何的仮定の下での収束を分析する。
• 2つの集合間の角度に基づいて、交替射影法の収束半径と線形収束速度を導出する。
• 幾何的・変分的解析を用いて、収束が成立する条件を確立する。特に、交差部分集合の構造に注目する。
• 理論的収束特性を、スパース問題における実際の性能期待値と比較する。

実験結果

リサーチクエスチョン

• RQ1 交替射影法が、スパースなアフィン可解問題の解に局所的に線形収束するための幾何的条件は何か？
• RQ2 アフィン制約付きのスパース可解問題に対して、ドーキング・ラッハフォードアルゴリズムを保証的に収束させることは可能か？
• RQ3 スパース集合とアフィン制約の間の角度が、収束速度と収束半径を決定する役割を果たすか？
• RQ4 ドーキング・ラッハフォードに基づくADMM型手法は、スパース可解問題を解くために漸近的に適切か？
• RQ5 なぜ標準的なドーキング・ラッハフォードの収束仮定が、典型的なスパース回復シナリオでは成立しないのか？

主な発見

• 交替射影法は、スパース可解問題の解に局所的に線形収束する。収束速度と収束半径は、スパース集合とアフィン制約の間の角度によって決定される。
• ドーキング・ラッハフォード法は、2つの集合の交差に関するより強い幾何的仮定が満たされている場合にのみ、局所的に線形収束する。
• これらの強い仮定は、大多数の実用的スパース可解問題では満たされていないため、ドーキング・ラッハフォードに基づく手法は一般に収束しないことが示唆される。
• ドーキング・ラッハフォードの収束仮定が失敗することは、ADMMおよび関連アルゴリズムがスパースネス最適化に対して漸近的に信頼できないことを示している。
• 本分析により、交差角を用いた収束の幾何的特徴付けが得られ、アルゴリズム行動を予測する定量的フレームワークが提供される。
• 結果として、単純な射影法は凸ヒューリスティクスなしで有効であるが、特定の幾何的条件下でのみ有効であることが示された。