[論文レビュー] Greedy regularized kernel interpolation

Gabriele Santin, Dominik Wittwar+1 more|arXiv (Cornell University)|Jul 25, 2018

Numerical methods in engineering参考文献 9被引用数 3

ひとこと要約

本稿では、反復的にカーネル中心を選択することで、散乱データに対するスパースで安定的かつ高精度な近似を構築する貪欲な正則化カーネル補間法を提案する。この手法は、漸近的に準最適な収束速度を保証し、高価な関数評価において計算効率を向上させる。

ABSTRACT

Kernel based regularized interpolation is a well known technique to approximate a continuous multivariate function using a set of scattered data points and the corresponding function evaluations, or data values. This method has some advantage over exact interpolation: one can obtain the same approximation order while solving a better conditioned linear system. This method is well suited also for noisy data values, where exact interpolation is not meaningful. Moreover, it allows more flexibility in the kernel choice, since approximation problems can be solved also for non strictly positive definite kernels. We discuss in this paper a greedy algorithm to compute a sparse approximation of the kernel regularized interpolant. This sparsity is a desirable property when the approximant is used as a surrogate of an expensive function, since the resulting model is fast to evaluate. Moreover, we derive convergence results for the approximation scheme, and we prove that a certain greedy selection rule produces asymptotically quasi-optimal error rates.

研究の動機と目的

• 高価な関数に対する代理モデルにおける密なカーネル補間の計算非効率性を解消すること。
• 評価コストを低減しつつ高い精度を維持するスパース近似スキームの開発。
• 実際によく見られる非厳密に正定値のカーネルに対しても安定性と収束性を保証すること。
• 貪欲選択ルールの下で収束速度に対する理論的保証を提供すること。
• 正則化を活用することで、ノイズのあるデータの状況においてもロバストな近似を可能とすること。

提案手法

• 線形方程式の解を安定化するために、Tikhonov型のペナルティを用いたカーネルベースの正則化補間を採用する。
• データセットから反復的にカーネル中心（サポート点）を選択することで、スパースな近似を構築する貪欲アルゴリズムを適用する。
• 各ステップで残差誤差の低減を最大にするように、新しい中心を貪欲ルールに基づいて選択する。
• カーネル行列の特異値とコルモゴロフn幅の衰減特性を用いて、誤差バウンドを導出する。
• 滑らかさの仮定の下で、貪欲選択ルールが漸近的に準最適な収束速度をもたらすことを証明する。
• 表現定理を用いて、補間関数を選択された点を中心とするカーネル関数の線形結合として表現する。

実験結果

リサーチクエスチョン

• RQ1 貪欲アルゴリズムは、高い近似精度を維持するスパースなカーネル補間を生成できるか？
• RQ2 貪欲選択ルールは、カーネル補間において漸近的に準最適な収束速度をもたらすか？
• RQ3 標準的な正則化補間と比較して、本手法の安定性と条件数はどのようにか？
• RQ4 非厳密に正定値のカーネルに対しても、収束保証を失うことなく適用可能か？
• RQ5 カーネルに滑らかさの仮定がある場合、貪欲な正則化補間の理論的誤差減衰率はどのようになるか？

主な発見

• 提案された選択ルールの下で、貪欲な正則化補間は漸近的に準最適な誤差率を達成する。
• 本手法は、正確な補間とは異なり、非厳密に正定値のカーネルに対しても良好に条件付けられた線形方程式系を保証する。
• 近似誤差は、最良のn項近似と同等の速度で衰えるが、カーネルの滑らかさに依存する明示的な定数を伴う。
• $ C^{2\tau} $ の滑らかさを持つカーネルに対しては、$ C^\tau $-ノルムにおける収束が保証される。
• コルモゴロフn幅の衰減を用いた特異値の再帰的推定により、収束速度に明示的な定数が導出される。
• 正則化パラメータ $ \lambda > 0 $ のおかげで、ノイズのあるデータに対してもロバストであり、過剰適合を防ぐ。