[論文レビュー] Worst-case recovery guarantees for least squares approximation using random samples

Lutz Kämmerer, Tino Ullrich+1 more|arXiv (Cornell University)|Nov 22, 2019

Mathematical Approximation and Integration被引用数 5

ひとこと要約

本稿は、再生核ヒルベルト空間における複素数値関数のランダムサンプルからの最小二乗近似に対して、明示的な最悪ケース回復保証を提供する。特徴的な確率測度に従って生成されたランダムなサンプリングノードと、埋め込み作用素の特異ベクトルを用いることで、失敗確率を制御した高確率誤差境界を導出し、双曲的フーリエ回帰およびウェーブレット回帰の両方でほぼ最適の収束率を達成する。また、最適重みを用いた単純なランダムサンプリングが、準モンテカルロ法と同等の性能を発揮することを示している。

ABSTRACT

We construct a least squares approximation method for the recovery of complex-valued functions from a reproducing kernel Hilbert space on $D \\subset \\mathbb{R}^d$. The nodes are drawn at random for the whole class of functions and the error is measured in $L_2(D,\\varrho_D)$. We prove worst-case recovery guarantees by explicitly controlling all the involved constants. This leads to new preasymptotic recovery bounds with high probability for the error of Hyperbolic Fourier Regression on multivariate data. In addition, we further investigate its counterpart Hyperbolic Wavelet Regression also based on least-squares to recover non-periodic functions from random samples. Finally, we reconsider the analysis of a cubature method based on plain random points with optimal weights and reveal near-optimal worst-case error bounds with high probability. It turns out that this simple method can compete with the quasi-Monte Carlo methods in the literature which are based on lattices and digital nets.

研究の動機と目的

• 再生核ヒルベルト空間におけるランダムサンプルからの最小二乗近似の、厳密な最悪ケース回復誤差境界を確立すること。
• 失敗確率を明示的に制御する高確率的保証を提供すること。
• より弱い仮定の下で先行研究を拡張し、実用的なパrameter選択を提供すること。
• 単純なランダムサンプリングに最適重みを適用することで、ほぼ最適の最悪ケース誤差境界を達成でき、高次の準モンテカルロ法と競合できることを示すこと。

提案手法

• 回復作用素は、H(K) から L²(D, ̺D) への埋め込み作用素の最初の m−1 個の右特異ベクトルの張る空間における最小二乗フィットとして構築される。
• サンプリングノードは、埋め込み作用素のスペクトル特性に適合した特徴的な確率測度 ̺D に従ってi.i.d.に抽出され、性能向上のための洗練された重要度サンプリング戦略が用いられる。
• サンプリング複雑度と誤差境界を制御するための主要な量として、N(m) = sup_x ∑_{k=1}^{m-1} σ_k^{-2} |e_k(x)|² が用いられる。
• 集中不等式を用いて高確率誤差境界を導出し、最悪ケース誤差が O(σ_m² + log(8n)/n) で有界であり、失敗確率 ≤3δ であることを示している。
• 周期的（フーリエ）および非周期的（チェビシェフウェーブレット）な設定に適用可能であり、数値的解法としてLSQRの使用も含む。
• 高次元におけるテスト関数に対して理論的境界を数値的に検証し、サンプリング誤差と近似誤差を比較した。

実験結果

リサーチクエスチョン

• RQ1 失敗確率を制御可能なランダムサンプルを用いた最小二乗近似に対して、明示的な最悪ケース回復誤差境界を導出可能か？
• RQ2 誤差境界は、特に特異値と固有関数に依存する埋め込み作用素のスペクトル特性にどのように依存するか？
• RQ3 最適重みを用いた単純なランダムサンプリングが、構造的準モンテカルロ法と同等のほぼ最適の最悪ケース誤差境界を達成可能か？
• RQ4 非一様分布関数に対して、重要度サンプリングは回復性能をどのように向上させるか？
• RQ5 非周期的関数の高次元空間において、理論的前漸近的境界が実際の状況でも成り立つか？

主な発見

• 本稿では、P(sup_||f||_H(K)≤1 ||f - S_X^m f||_L²² ≤ 29δ · max{σ_m², log(8n)/n · T(m)}) ≥ 1−3δ という形の高確率的最悪ケース誤差境界を確立した。ここで T(m) = sup_x ∑_{k≥m} |e_k(x)|² である。
• N(m) ∈ O(m) のとき、誤差境界は O(δ⁻¹ · m⁻¹ ∑_{k≥m/2} σ_k²) のように減少し、ほぼ最適の収束率を達成する。
• チェビシェフ測度を用いた非周期的状況 [−1,1]^d において、数値実験によりサンプリング誤差と近似誤差が n⁻¹·⁵(log n)^d·¹·⁵ のように減少することが確認され、理論的予測と一致した。
• 回復近似からの積分誤差は n⁻²(log n)^d·² のように減少し、サンプリング誤差のレートを上回り、本手法の積分用途への有効性を裏付けた。
• 単純なランダムサンプリングに最適重みを適用した手法は、ほぼ最適の最悪ケース誤差境界を達成でき、格子型およびデジタルネット型準モンテカルロ法と同等の性能を示した。
• 文献[32]および(8.5)における理論的前漸近的境界は、チェビシェフの場合に強く期待され、数値的証拠によって裏付けられた。