[論文レビュー] Sparse sampling recovery by greedy algorithms

Vladimir Temlyakov|arXiv (Cornell University)|Dec 20, 2023

Sparse and Compressive Sensing Techniques被引用数 5

ひとこと要約

本稿では、普遍的サンプリング離散化および非一様性の性質を持つ系に対して適用された弱チエビシェフ勾配法（WCGA）が、$L_p$ノルムにおいて効果的なスパースサンプリング回復を可能にすることを確立している。個々の関数および多変数関数クラスに対して、Lebesgue型不等式と誤差バウンドを証明し、これらの構造的条件のもとで、WCGAが最小限のサンプリング点数でほぼ最適な回復を達成できることを示している。

ABSTRACT

In this paper we analyze approximation and recovery properties with respect to systems satisfying universal sampling discretization property and a special incoherence property. We apply a powerful nonlinear approximation method -- the Weak Chebyshev Greedy Algorithm (WCGA). We establish that the WCGA based on good points for the $L_p$-universal discretization provides good recovery in the $L_p$ norm. For our recovery algorithms we obtain both the Lebesgue-type inequalities for individual functions and the error bounds for special classes of multivariate functions. The main point of the paper is that we combine here two deep and powerful techniques -- Lebesgue-type inequalities for the WCGA and theory of the universal sampling dicretization -- in order to obtain new results in sampling recovery.

研究の動機と目的

• スパースサンプリング回復のための理論的枠組みを $L_p$ ノルムで構築すること。
• 弱チエビシェフ勾配法（WCGA）を普遍的サンプリング離散化と組み合わせ、最適な回復性能を達成すること。
• 個々の関数および構造的多変数関数クラスに対して、Lebesgue型不等式と誤差バウンドを確立すること。
• 非一様性の性質とサンプリング離散化の相互作用が、最小限のサンプル数で効率的な回復を達成する上で果たす役割を分析すること。
• WCGAを用いた $L_p$ 回復において、サンプリングの複雑さと近似精度のトレードオフを定量化すること。

提案手法

• WCGAは、$L_p$-普遍的サンプリング離散化（定義1.1）および (v,S)-非一様性特性（定義1.2）を満たす系に適用される。
• アルゴリズムは、弱勾配選択に基づき反復的に辞書要素を選択し、$L_p$ ノルムにおける関数の近似を試みる。
• WCGAの誤差を最良の $v$-項近似誤差の観点から制限するLebesgue型不等式が導出される。
• サンプリング点数 $m$ の理論的バウンドが導出され、$1 \leq p \leq 2$ の場合 $m \ll u(\log N)^4$、$2 < p < \infty$ の場合 $m \ll u^{p/2}(\log N)^2$ となることが示され、ここで $u$ は反復回数を表す。
• 既知の普遍的離散化に関する結果を活用し、WCGAを介した $L_p$-ノルム回復へと拡張する。
• 回復アルゴリズムは3段階で構築される：(1) 最良の $v$-項近似による目標精度の設定、(2) 必要な反復回数 $u$ の決定、(3) 全域の普遍的サンプリング点を用いた離散化。

実験結果

リサーチクエスチョン

• RQ1 普遍的サンプリング離散化および非一様性を有する系において、弱チエビシェフ勾配法（WCGA）は、$L_p$ 回復誤差をほぼ最適に達成できるか？
• RQ2 普遍的離散化のもとで、WCGAを用いた安定な $L_p$ 回復を保証するための最小サンプリング点数 $m$ はどの程度か？
• RQ3 反復回数 $u$ およびサンプリング複雑度 $m$ は、スパースネスパラメータ $v$ および次元 $N$ に対してどのようにスケーリングされるか？
• RQ4 $L_p$-ノルムがヒルベルト空間 $L_2$-ノルムの代わりに用いられた場合、WCGAは近似精度をどの程度維持できるか？
• RQ5 効果的な回復を保証する限り、普遍的サンプリング離散化条件を弱めるか一般化できるか？

主な発見

• WCGAは、非一様性パラメータおよび離散化定数に依存する定数倍の $L_p$ 回復誤差を達成する。このバウンドは、最良の $v$-項近似誤差の定数倍で抑えられる。
• $1 \leq p \leq 2$ の場合、必要なサンプリング点数は $m \ll u(\log N)^4$ であり、ほぼ最適なサンプリング効率を示している。
• $2 < p < \infty$ の場合、サンプリング複雑度は $m \ll u^{p/2}(\log N)^2$ に比例し、非ヒルベルト構造に起因してコストが高くなる。
• 反復回数 $u$ は、$1 < p \leq 2$ の場合 $u \asymp v^{1/(p-1)}\ln(2v)$、$2 < p < \infty$ の場合 $u \asymp v\ln(2v)$ に比例して $v$-項回復に必要な反復回数としてスケーリングされる。
• サンプリングバウンドの理論的改善が可能である：定理4.2および4.3では、指数部の対数因子を除去することで、必要な $m$ を削減できる。
• 回復アルゴリズム $B_v(f, \mathcal{D}_N, L_p(\xi))$ は、片側の普遍的離散化条件のもとで最適な誤差バウンドを達成できるが、計算コストの高さからWCGAほど実用的ではない。