[論文レビュー] Iterative Thresholding for Demixing Structured Superpositions in High Dimensions

Mohammadreza Soltani, Chinmay Hegde|arXiv (Cornell University)|Jan 23, 2017

Sparse and Compressive Sensing Techniques参考文献 16被引用数 4

ひとこと要約

本稿では、サンプルが少ない状況下で非線形観測から2つの高次元的、構造的スパースなベクトルを分離するための非凸的反復しきい値処理アルゴリズム、Struct-DHTを提案する。ブロックスパース仮定の下で、$\mathcal{O}(s)$ 個のサンプルで証明可能な回復を達成し、線形収束性と近似線形の反復ごとの計算量を有し、凸法および非構造的手法に比べてサンプル効率と速度で優れる。

ABSTRACT

We consider the demixing problem of two (or more) high-dimensional vectors from nonlinear observations when the number of such observations is far less than the ambient dimension of the underlying vectors. Specifically, we demonstrate an algorithm that stably estimate the underlying components under general \emph{structured sparsity} assumptions on these components. Specifically, we show that for certain types of structured superposition models, our method provably recovers the components given merely $n = \mathcal{O}(s)$ samples where $s$ denotes the number of nonzero entries in the underlying components. Moreover, our method achieves a fast (linear) convergence rate, and also exhibits fast (near-linear) per-iteration complexity for certain types of structured models. We also provide a range of simulations to illustrate the performance of the proposed algorithm.

研究の動機と目的

• 非線形的かつ不定な観測から高次元的で構造的スパースなベクトルを分離する課題に対処すること。
• 特にブロックスパースを含む一般の構造的スパース性仮定の下で、成分の安定回復を達成すること。
• 構造的スパース性を活用することで、標準的な$\mathcal{O}(s)$の閾値未満のサンプル複雑度を実現すること。
• スケーラブルな高次元推論を可能にする、高速（線形）収束性と近似線形の反復ごとの計算量を持つ手法を開発すること。
• 従来の分離フレームワークを、証明可能保証を持つ非線形観測モデルへ拡張すること。

提案手法

• アルゴリズムは、非線形リンク関数$g$を有する一般化線形モデルから導出された非凸的目的関数に基づく反復しきい値処理を用いる。
• 構造的ハードしきい値処理演算子$\mathcal{P}_{s;s}$を採用し、各成分において$ s $個の絶対値が最大のブロックを保持することで、ブロックスパース構造を維持する。
• 安定性と収束性を保証するため、ステップサイズ$\eta'$を$\left(\frac{0.5}{M_{6s}}, \frac{1.5}{m_{6s}}\right)$ の区間内で選択する。
• 収束性は、真のパラメータ$\theta$、反復点$t^k$、および投影された中間推定値$b$を含む三角不等式分解を用いて確立する。
• 証明は、制限付き強い凸性／滑らかさ（SRSC/SRSS）およびカチンチェの不等式を用い、サポート集合上での期待勾配ノルムを評価する。
• 同定可能性の問題に対処するため、基底$\Phi$および$\Psi$に対する非一様性仮定を採用する。

実験結果

リサーチクエスチョン

• RQ1 非凸的反復しきい値処理法は、非線形的かつ不定な観測から構造的スパース成分を証明可能な回復が可能か？
• RQ2 ブロックスパース仮定の下で、安定な分離に必要な最小サンプル数は何か？
• RQ3 提案手法は高次元的状況下で線形収束性と近似線形の反復ごとの計算量を達成するか？
• RQ4 サンプル効率と誤差の観点で、構造的手法は凸法および非構造的代替手法に比べてどのように性能を発揮するか？
• RQ5 滑らかさおよび非一様性仮定の下で、漸近的サンプル複雑度下限に一致するか？

主な発見

• 提案されたStruct-DHTアルゴリズムは、誤差境界$\|t^{k+1}-\theta\|_2 \leq (2q)^k\|t^0 - \theta\|_2 + C\tau\sqrt{s/m}$を満たし、$q < 1$の線形収束性を達成する。
• サブガウス型設計行列の下では、必要なサンプル複雑度は$\mathcal{O}(s/b \log(p/s))$であり、$b = \Omega(\log(p/s))$のとき$\mathcal{O}(s)$に簡略化される。
• 本手法は漸近的に最適なサンプル複雑度を達成し、非線形的かつ高次元的状況下での回復の理論的下限に一致する。
• 数値結果では、Struct-DHTは標準DHTおよび凸DSTの両者を著しく上回り、低い正規化誤差を達成するためのサンプル数が少ないことが示された。
• $p = 2^{16}$、$s = 656$、$b = 16$のシミュレーションでは、Struct-DHTは競合手法よりも少ないサンプル数で成功した回復（正規化誤差 < 0.05）を達成した。
• ブロックスパースモデルにおいて、アルゴリズムは反復ごとの計算量が近似線形を示し、高次元問題へのスケーラビリティを実現した。