[論文レビュー] Interpolation via weighted $l_1$ minimization

Holger Rauhut, Rachel Ward|arXiv (Cornell University)|Aug 3, 2013

Sparse and Compressive Sensing Techniques参考文献 40被引用数 24

ひとこと要約

本稿は、スパarsityと滑らかさの事前分布を組み合わせることで優れた近似レートを達成する関数補間のための重み付き ℓ₁ 最小化を導入する。適切に選ばれた重みを用いることで、再構成誤差が $ s^{1-1/p} \|f\|_{v,p} $ のように減少し、古典的および非重み付き ℓ₁ 法よりも顕著に優れた性能を示す。特に高次元において、$ m \asymp s \log^3(s) \log(N^{(s,p)}) $ 個のサンプルで十分であり、これは古典的手法を著しく上回る。

ABSTRACT

Functions of interest are often smooth and sparse in some sense, and both priors should be taken into account when interpolating sampled data. Classical linear interpolation methods are effective under strong regularity assumptions, but cannot incorporate nonlinear sparsity structure. At the same time, nonlinear methods such as $l_1$ minimization can reconstruct sparse functions from very few samples, but do not necessarily encourage smoothness. Here we show that weighted $l_1$ minimization effectively merges the two approaches, promoting both sparsity and smoothness in reconstruction. More precisely, we provide specific choices of weights in the $l_1$ objective to achieve rates for functions with coefficient sequences in weighted $l_p$ spaces, $p<=1$. We consider the implications of these results for spherical harmonic and polynomial interpolation, in the univariate and multivariate setting. Along the way, we extend concepts from compressive sensing such as the restricted isometry property and null space property to accommodate weighted sparse expansions; these developments should be of independent interest in the study of structured sparse approximations and continuous-time compressive sensing problems.

研究の動機と目的

• 古典的な滑らかさに基づく補間と、現代のスパarsity制約付き再構成手法を橋渡しすること。
• 重み付き ℓ₁ 最小化を用いて、関数近似においてスパarsityと滑らかさの両方を同時に促進するフレームワークを構築すること。
• 重み付き ℓ_p 空間（$ 0 < p \leq 1 $）に係数列を持つ関数の厳密な回復保証を確立すること。
• 構造的スパarsityを扱えるように、リッジド・アイソトロピー特性（restricted isometry property）を重み付き設定に拡張すること。
• 一変数および多変数の多項式および球面調和関数補間において、改善されたサンプル複雑度と近似レートを実証すること。

提案手法

• 各基底関数の L∞ ノルムとスパarsity 構造に基づき、相対的重要性を反映する重みを用いた重み付き ℓ₁ 最小化フレームワークを導入する。
• 減少する重要度を有する高次元基底関数をモデル化するため、重み付き ℓ_p ノルム $ \|f\|_{v,p} $ を定義する。
• 安定なスパース展開の回復を保証するため、重み付きリッジド・アイソトロピー特性（ω-RIP）および重み付きノルム空間性質（weighted null space property）を提案する。
• 基底関数と非整合性を保つように、正規直交化測度に従ってランダムに抽出された点を用いて、サンプリング行列 $ \mathbf{A} $ を構築する。
• 制約付き最適化問題を用いる：$ \|\mathbf{z}\|_{\omega,1} $ を最小化するが、制約 $ \|\mathbf{A}\mathbf{z} - \mathbf{y}\|_2 \leq \tau s^{1/2-1/p} \sqrt{m} \|f\|_{v,p} $ を満たす。
• 有限なサポートと回復プロセスの安定性を保証するため、$ v_j \geq 2\omega_j^{1/(1-p/2)} $ かつ $ \omega_j \geq \|\psi_j\|_\infty $ となるように重みを選択する。

実験結果

リサーチクエスチョン

• RQ1 スパarsity と滑らかさの両方を有する関数に対して、非重み付き ℓ₁ や古典的線形補間よりも、重み付き ℓ₁ 最小化がより優れた近似レートを達成できるか。
• RQ2 重み付き ℓ_p 空間（$ 0 < p \leq 1 $）に係数列を持つ関数の安定的かつロバストな回復を保証する重みの選び方は何か。
• RQ3 重み付き ℓ₁ 最小化を用いる場合、環境次元に伴い必要なサンプル数はどのようにスケーリングされるか。
• RQ4 リッジド・アイソトロピー特性（restricted isometry property）は、連続時間における重み付きスパarsity を扱えるように一般化可能か。
• RQ5 L∞ ノルムにおける基底関数の成長がスパース回復に与える影響は何か。また、その影響をどのように軽減できるか。

主な発見

• サンプル数が $ m \geq c_0 s \max\{\log^3(s)\log(N^{(s,p)}), \log(1/\gamma)\} $ を満たす場合、重み付き ℓ₁ 最小化は高確率で、誤差が $ C_\tau s^{1-1/p} \|f\|_{v,p} $ に有界な関数を回復する。
• 本手法は、古典的線形補間および非重み付き ℓ₁ 最小化よりも優れた近似レートを達成し、特に高次元設定において顕著な改善を示す。
• 重み付き ℓ₁ 最小化において、基底関数の L∞ ノルムを反映するように重みを選びさえすれば、環境次元に伴うサンプル数の増加は対数的または線形的となる。
• ランダムサンプリングのもとで、重み付きノルム空間性質および ω-RIP が確立され、構造的スパース展開の安定回復が可能となる。
• $ p \in (0,1] $ の場合、活性インデックス集合 $ \Lambda_0^{(s,p)} $ は有限であり、$ s $ に関して多項式的サイズとなるため、実用的な計算が可能となる。
• 重みの選択 $ v_j = 2\omega_j^2 $ は、必要な重み条件を満たし、$ |j| \to \infty $ のとき $ \omega_j v_j^{1-2/p} \to 0 $ となるように収束を保証する。