[論文レビュー] Lebesgue-type inequalities in sparse sampling recovery

F. Dai, Vladimir Temlyakov|arXiv (Cornell University)|Jul 9, 2023

Sparse and Compressive Sensing Techniques被引用数 6

ひとこと要約

本稿は、$2 \leq p < \infty$ における $L_p$ ノルムにおいて、スパースサンプリング復元のルベーグ型不等式を確立し、$L_p$-ユニバーサル分散化点に基づく弱チエビシェフ勾配アルゴリズム（WCGA）を導入する。関数評価のみを用いて $v$-スパース関数の安定的かつほぼ最適な復元を証明し、誤差境界が最良の $v$-項近似と同等であることを示す。これは、バナッハ空間の技法を用いて、$L_2$ から一般の $L_p$ 空間に既存結果を拡張したものである。

ABSTRACT

Recently, it has been discovered that results on universal sampling discretization of the square norm are useful in sparse sampling recovery with error being measured in the square norm. It was established that a simple greedy type algorithm -- Weak Orthogonal Matching Pursuit -- based on good points for universal discretization provides effective recovery in the square norm. In this paper we extend those results by replacing the square norm with other integral norms. In this case we need to conduct our analysis in a Banach space rather than in a Hilbert space, making the techniques more involved. In particular, we establish that a greedy type algorithm -- Weak Chebyshev Greedy Algorithm -- based on good points for the $L_p$-universal discretization provides good recovery in the $L_p$ norm for $2\le p&lt;\infty$. Furthermore, we discuss the problem of stable recovery and demonstrate its close relationship with sampling discretization.

研究の動機と目的

• 関数評価に基づく回復アルゴリズムの $L_p$ ノルムにおけるスパースサンプリング復元を $L_2$ から一般の $L_p$ ノルム（$2 \leq p < \infty$）に拡張すること。
• バナッハ空間における関数評価に基づく回復アルゴリズムのルベーグ型不等式を確立すること。
• 弱チエビシェフ勾配アルゴリズム（WCGA）が、$L_p$-ユニバーサル分散化を提供する点を用いることで、安定的かつほぼ最適な復元を達成することを示すこと。
• 安定的サンプリング復元と $L_p$ におけるユニバーサル分散化理論との関係を明確にすること。

提案手法

• 著者らは、残差との相関に基づき反復的に辞書要素を選択する、弱チエビシェフ勾配アルゴリズム（WCGA）を回復手法として用いる。
• 部分空間 $\mathcal{X}_v(\mathcal{D}_N)$ に対して $L_p$-ユニバーサル分散化を提供する点 $\xi$ の存在に依存し、サンプル点における $L_p$ ノルムと経験的 $\ell_p$ ノルムのノルム同値性を保証する。
• 解析は $2 \leq p < \infty$ におけるバナッハ空間 $L_p(\Omega,\mu)$ で行われ、ヒルバート空間と比較してより複雑な技術を要する。
• 主要な不等式は、$L_p$-ユニバーサル分散化の性質を活用し、WCGAの誤差を最良の $v$-項近似誤差の観点から制御することによって導出される。
• 回復アルゴリズムのルベーグ型不等式を形式化するために、ほぼグリーディシステムと $\mathbf{a}$-グリーディシステムの概念が用いられる。
• 辞書 $\mathcal{D}_N$ が一様有界なリース系であり、サンプリング点が $\mathcal{X}_u(\mathcal{D}_N)$ に対して $u \sim v$ でユニバーサル分散化を満たすという仮定の下で、理論的境界が確立される。

実験結果

リサーチクエスチョン

• RQ1 関数評価に基づくグリーディアルゴリズムの $L_p$ 空間（$2 \leq p < \infty$）におけるルベーグ型不等式を確立できるか？
• RQ2 弱チエビシェフ勾長アルゴリズム（WCGA）は、関数値のサンプリングのみを用いて $L_p$ ノルムで安定的かつほぼ最適な復元を提供するか？
• RQ3 安定的サンプリング復元と部分空間の $L_p$-ユニバーサル分散化との関係は何か？
• RQ4 サンプリング点がユニバーサル分散化を満たす場合、WCGA の $L_p$ における性能は最良の $v$-項近似と比べてどうなるか？

主な発見

• 弱チエビシェフ勾長アルゴリズム（WCGA）は、$2 \leq p < \infty$ における $L_p$ ノルムで、最良の $v$-項近似誤差の定数倍で抑えられるルベーグ型不等式を達成する。
• 関数 $f_0 \in \Sigma_v(\mathcal{D}_N)$ に対して、$\mathcal{X}_{2v}(\mathcal{D}_N)$ に対して $L_p$-ユニバーサル分散化が成り立つ限り、WCGA は $cV^2(\ln(Vv))v$ 回の反復で $f_0$ を正確に復元する。
• アルゴリズムは安定的である：$f_0$ が $f \in \Sigma_v(\mathcal{D}_N)$ のノイズ版で $\|f_0 - f\|_\infty \leq \delta$ を満たす場合、WCGA は $cV^2(\ln(Vv))v$-スパース近似を生成し、$f$ からのずれが $C\delta$ 以内に収まる。
• $p=2$ の場合、WCGA は $v' \sim v\ln(Vv)$ 回の反復で境界に到達する。より強い仮定（例えば、よりタイトな定数を有する $L_2$-ユニバーサル分散化）が成り立つと、反復回数は $O(v)$ にまで減少する。
• 本稿は、$L_p$-ユニバーサル分散化点が、$L_2$ から $p \geq 2$ の一般の $L_p$ 空間にわたる安定的かつ高精度なスパース復元を可能にすることを確立した。
• 結果は、サンプリング分散化と安定的復元の関係が $L_p$ 空間においても堅牢であり、分散化定数と辞書の性質を用いた明示的な定量的制御が可能であることを示している。