[論文レビュー] Finding a sparse vector in a subspace: Linear sparsity using alternating directions

Qing Qu, Ju Sun+1 more|arXiv (Cornell University)|Dec 15, 2014

Sparse and Compressive Sensing Techniques参考文献 28被引用数 30

ひとこと要約

本稿では、標的ベクトルがランダム部分空間に埋め込まれた植え付けスパースモデル下で、スパース性が次元に対して線形（つまり、非ゼロ成分の割合がΩ(1)）である場合に、部分空間内の最もスパースなベクトルを回復する非凸交替方向汎用法（ADM）を提案する。この手法は、スパース性がO(1/√n)を超えると失敗する凸緩和法に比べて優れている。

ABSTRACT

Is it possible to find the sparsest vector (direction) in a generic subspace $\mathcal{S} \subseteq \mathbb{R}^p$ with $\mathrm{dim}(\mathcal{S})= n < p$? This problem can be considered a homogeneous variant of the sparse recovery problem, and finds connections to sparse dictionary learning, sparse PCA, and many other problems in signal processing and machine learning. In this paper, we focus on a **planted sparse model** for the subspace: the target sparse vector is embedded in an otherwise random subspace. Simple convex heuristics for this planted recovery problem provably break down when the fraction of nonzero entries in the target sparse vector substantially exceeds $O(1/\sqrt{n})$. In contrast, we exhibit a relatively simple nonconvex approach based on alternating directions, which provably succeeds even when the fraction of nonzero entries is $Ω(1)$. To the best of our knowledge, this is the first practical algorithm to achieve linear scaling under the planted sparse model. Empirically, our proposed algorithm also succeeds in more challenging data models, e.g., sparse dictionary learning.

研究の動機と目的

• 一般にNP困難であると知られている、任意の部分空間における最もスパースな非ゼロベクトルを求める計算上の課題に取り組む。
• スパース性がO(1/√n)を超えると失敗する凸緩和法の限界を乗り越えるために、非凸代替手法を提案する。
• 標的スパースベクトルがランダム部分空間に埋め込まれた「植え付けスパースモデル」下で、スパースベクトル回復の理論的保証を確立する。
• スパース性が線形にスケーリングされる（非ゼロ成分の割合が一定である）実用的でスケーラブルなアルゴリズムを開発する。
• スパース辞書学習やスパースPCAといった問題に、部分空間制約が中心的役割を果たす分野へのスパース回復技術の適用を拡張する。

提案手法

• 行列の零空間におけるスパース性を促進する非凸最適化問題を解くための交替方向法（ADM）を提案する。
• 変数分割を用いて、スパースベクトル回復問題を、零空間制約下でのℓ1ノルム最小化問題に再定式化し、交替最小化を可能にする。
• 幾何的および測度集中の議論を活用して、解を標準基底ベクトルに射影するラウンディング手順を導入する。
• ランダム行列理論を用いた確率的解析により、植え付けモデル下でADMの部分問題の解が真のスパースベクトルの周囲に集中することを確立する。
• 双対証明の構築により、ADM部分問題の解が一意的であり、真のスパースベクトルの方向と一致することを証明する。
• 直交変換による基底変更を適用し、部分空間の基底表現に対して不変性を維持することで、入力基底の選択に頑健であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 スパース性が高くなる場合に、非凸最適化手法が凸緩和法を上回り、部分空間からのスパースベクトル回復に成功するか。
• RQ2 植え付けスパースベクトルを有するランダム部分空間において、交替方向法が真のスパースベクトルに収束する条件は何か。
• RQ3 非ゼロ成分の割合が一定（線形スパース性スケーリング）である状況でも、実用的かつ理論的に収束保証のあるアルゴリズムによってスパースベクトル回復が可能か。
• RQ4 ADMに基づく手法の性能は、高スパース性領域において凸ヒューリスティクスと比べてどうか。
• RQ5 提案手法は、植え付けスパースモデルを超えて、スパース辞書学習などより一般的なモデルへ拡張可能か。

主な発見

• 提案されたADMアルゴリズムは、植え付けスパースモデル下でスパース性がΩ(1)（次元に対する一定割合）である場合に、部分空間内の最もスパースなベクトルを理論的に回復可能である。
• 凸緩和法はスパース性がO(1/√n)を超えると失敗するが、提案された非凸ADM手法は線形スパース性レベルでも成功する。
• 環境次元pが万有定数C₃に対してC₃n以上であれば、アルゴリズムは高確率で成功する。
• ADM解のラウンディング手順により、スパースパラメータθが万有閾値θ₀未満であれば、正しいスパースベクトル方向が高確率で回復される。
• 理論的解析により、ADM部分問題の解が真のスパースベクトルの周囲に集中することが示され、双対証明が正確な回復の十分条件を満たすことが分かった。
• 実験結果により、植え付けスパースモデルを超えたより挑戦的なモデル、例えばスパース辞書学習においても、本手法が成功することが示された。