[論文レビュー] Convergence rate of the data-independent $P$-greedy algorithm in kernel-based approximation

Gabriele Santin, Bernard Haasdonk|arXiv (Cornell University)|Dec 8, 2016

Numerical methods in inverse problems被引用数 28

ひとこと要約

本稿は、Sobolev空間を生成するカーネルに対するカーネルベース近似におけるデータに依存しない $P$-greedyアルゴリズムの収束速度を確立し、近似的に最適なレートに達することを証明している。この手法は、パワー関数を最大化する点を選択することで、漸近的に一様な点分布を確保し、ネイティブ空間内のすべての関数に対して一様な誤差バウンドを提供する。

ABSTRACT

Kernel-based methods provide flexible and accurate algorithms for the reconstruction of functions from meshless samples. A major question in the use of such methods is the influence of the samples locations on the behavior of the approximation, and feasible optimal strategies are not known for general problems. Nevertheless, efficient and greedy point-selection strategies are known. This paper gives a proof of the convergence rate of the data-independent extit{$P$-greedy} algorithm, based on the application of the convergence theory for greedy algorithms in reduced basis methods. The resulting rate of convergence is shown to be near-optimal in the case of kernels generating Sobolev spaces. As a consequence, this convergence rate proves that, for kernels of Sobolev spaces, the points selected by the algorithm are asymptotically uniformly distributed, as conjectured in the paper where the algorithm has been introduced.

研究の動機と目的

• データに依存しない $P$-greedyアルゴリズムのカーネルベース近似における収束速度を確立すること。
• Sobolev空間を生成するカーネルに対して、アルゴリズムが近似的に最適な収束速度を達成することを証明すること。
• 先行研究で提唱されたように、選択された点の漸近的均一分布を確認すること。
• ガウスカーネルおよびウェンランドカーネルに対する数値実験を通じて、理論的収束速度を検証すること。

提案手法

• $P$-greedyアルゴリズムは、$\Omega$ 内の点を、パワー関数 $P_{V(X_{n-1})}$ を最大化するように反復的に選択し、一様な近似誤差バウンドを保証する。
• 理論的収束解析は、低次元基底法におけるグリーディアルゴリズムの収束理論に基づく。
• 選択基準としてパワー関数 $P_{V(X_n)}(x)$ が用いられ、これはネイティブ空間 $\mathcal{H}_K(\Omega)$ 上での正規化された補間誤差の上界として定義される。
• 数値的実装では、パワー関数を効率的に計算するために、マトリクスフリーなニュートン基底形式が用いられる。
• $\Omega$ の離散化 $\tilde{\Omega}$ が計算に用いられ、$[-1,1]^d$ 内の単位球と交差する均等グリッドが使用される。
• 実験では、ガウスカーネルおよびウェンランドカーネルに対して形状パラメータを固定（$\varepsilon=1$）し、停止許容誤差を $\tau=10^{-15}$ または $n=1000$ ポイントとする。

実験結果

リサーチクエスチョン

• RQ1 データに依存しない $P$-greedyアルゴリズムのカーネルベース近似における収束速度は何か？
• RQ2 $P$-greedyアルゴリズムは、漸近的に一様に分布する点集合を生成するか？
• RQ3 理論的収束速度とガウスカーネルおよびウェンランドカーネルにおける数値的減衰速度はどのように比較されるか？
• RQ4 選択された点のフィル距離は、パワー関数の減衰と整合的なレートで減少するか？
• RQ5 Sobolev空間を生成するカーネルに対して、収束速度は近似的に最適か？

主な発見

• データに依存しない $P$-greedyアルゴリズムは、Sobolev空間を生成するカーネルに対して、理論的期待に一致する近似的に最適な収束速度を達成する。
• 数値実験により、ガウスカーネルの理論的減衰レートが確認され、表1に推定係数 $\hat{c}_2$ および $\hat{c}_3$ が報告されている。
• ウェンランドカーネルの場合、定理8の理論的レートは非鋭いと判明した。代わりに、注記9で提示された修正レートの方が、数値的減衰とよく一致した。
• 改善されたレートの推定係数 $\hat{c}_1$ は表2に報告されており、次元 $d$ と滑らかさ $\beta$ に依存することが示された。
• 選択された点のフィル距離は、補題11と整合的なレートで減少し、理論的バウンドの妥当性が裏付けられた。
• 離散化領域 $\tilde{\Omega}$ の使用は、特にマシン精度に近い領域で数値結果に影響を与えるが、全体的なトレンドは理論と一致した。