[論文レビュー] Sampling numbers of smoothness classes via $\ell^1$-minimization

Thomas Jahn, Tino Ullrich+1 more|arXiv (Cornell University)|Dec 1, 2022

Sparse and Compressive Sensing Techniques被引用数 4

ひとこと要約

本稿は、関数値を用いた $β^1$-最小化（ベースス・パーシューディング）を用いて、$L^2$ における滑らかさクラスのサンプリング数の新たな上界を確立する。非線形回復における $β^1$-最小化は、線形手法に比べて著しく高速な収束速度を達成しており、重み付きウィーナー空間では $m^{-1/2}$ の利得が得られ、準バナッハ空間の場合は任意の多項式的加速が可能である。特に、$1 < p < 2$ かつ $d$ が大きいときの $d$-トーラス上の混合滑らかさソボレフ空間において顕著である。

ABSTRACT

Using techniques developed recently in the field of compressed sensing we prove new upper bounds for general (nonlinear) sampling numbers of (quasi-)Banach smoothness spaces in $L^2$. In particular, we show that in relevant cases such as mixed and isotropic weighted Wiener classes or Sobolev spaces with mixed smoothness, sampling numbers in $L^2$ can be upper bounded by best $n$-term trigonometric widths in $L^\infty$. We describe a recovery procedure from $m$ function values based on $\ell^1$-minimization (basis pursuit denoising). With this method, a significant gain in the rate of convergence compared to recently developed linear recovery methods is achieved. In this deterministic worst-case setting we see an additional speed-up of $m^{-1/2}$ (up to log factors) compared to linear methods in case of weighted Wiener spaces. For their quasi-Banach counterparts even arbitrary polynomial speed-up is possible. Surprisingly, our approach allows to recover mixed smoothness Sobolev functions belonging to $S^r_pW(\mathbb{T}^d)$ on the $d$-torus with a logarithmically better rate of convergence than any linear method can achieve when $1 &lt; p &lt; 2$ and $d$ is large. This effect is not present for isotropic Sobolev spaces.

研究の動機と目的

• 多変数関数回復のための構成的かつ実装可能な手法を開発することで、線形および非線形のサンプリング回復のギャップを埋めること。
• $L^2$ における滑らかさクラスのサンプリング数の文脈で、$β^1$-最小化の性能を分析すること。
• $L^2$ の回復誤差と $L^\infty$ における最良 $n$-項三角関数近似の間の定量的関係を確立すること。
• 非線形的回復における $β^1$-最小化が、特に高次元の混合滑らかさ設定において線形手法を上回ることを示すこと。
• 非構成的サブサンプリング戦略を避ける、決定的かつ構成的な回復手順を提供し、保証された収束速度を有すること。

提案手法

• $m$ 個の関数値に基づいて、$β^1$-最小化（ベースス・パーシューディング・デノイジング）を回復演算子として用いる。
• 有界正規直交系に対する最近の制限等長性性質（RIP）の結果を応用し、安定な回復を保証する。
• 圧縮センシングにおけるノイズに配慮した保証を活用し、$L^2$ における回復誤差を制御する。
• 多変数三角関数系を介して、$L^2$ の回復誤差と $L^\infty$ における最良 $n$-項近似誤差を結びつける。
• ベースス・パーシューディング・デノイジング計画におけるパrameter選択を用いて、近似的に最適な $n$-項近似回復を保証する。
• $m \approx C d \log(d+1) n \log(n+1)^2 \log(M)$ 測定値を用いたサンプリング数の上限を導出。誤差は $\widetilde{C}(\sigma_n(\mathcal{F};\mathcal{T}^d)_{L^\infty} + E_{[-M,M]^d \cap \mathbb{Z}^d}(\mathcal{F};\mathcal{T}^d)_{L^\infty})$ で有界である。

実験結果

リサーチクエスチョン

• RQ1 $β^1$-最小化は、$L^2$ における滑らかさクラスに対して、線形サンプリング回復よりも優れた収束速度を達成できるか？
• RQ2 $L^2$ におけるサンプリング数と $L^\infty$ における最良 $n$-項三角関数近似との間にどのような関係があるか？
• RQ3 高次元の混合滑らかさ設定において、非線形的回復による $β^1$-最小化は線形手法を上回る加速を達成できるか？
• RQ4 準バナッハ空間において、提案手法は任意の多項式的加速を達成できるか？
• RQ5 回復手順は構成的かつ実装可能であり、非構成的サブサンプリング戦略を避けることができるか？

主な発見

• $L^2$ におけるサンプリング数 $\varrho_m(\mathcal{F})_{L^2}$ は、最良 $n$-項 $L^\infty$ 三角関数近似誤差 $\sigma_n(\mathcal{F};\mathcal{T}^d)_{L^\infty}$ の定数倍で上界が与えられ、$m \approx C d \log(d+1) n \log(n+1)^2 \log(M)$ 測定値を要する。
• 重み付きウィーナー空間では、線形手法に比べて $m^{-1/2}$ の収束速度の利得が得られ、対数要因を除いて成立する。
• 重み付きウィーナー空間の準バナッハ版では、線形手法に対して任意の多項式的加速が可能である。
• $1 < p < 2$ かつ $d$ が大きいときの混合滑らかさソボレフ空間 $S^r_p(\mathbb{T}^d)$ において、本手法は任意の線形手法よりも対数的に優れた収束速度を達成する。
• 等方的ソボレフ空間では、収束速度の利得は認められないことから、混合滑らかさと次元性の役割が明確に浮き彫りになる。
• 回復手法は構成的であり、非構成的サブサンプリング戦略を避けており、保証された性能を持つ凸最適化に依存している。