[論文レビュー] Convergence guarantees for kernel-based quadrature rules in misspecified settings

Motonobu Kanagawa, Bharath K. Sriperumbudur+1 more|arXiv (Cornell University)|May 24, 2016

Matrix Theory and Algorithms被引用数 9

ひとこと要約

本稿は、被積分関数が仮定されたものより滑らかでない誤った設定におけるカーネルベースの数値積分規則の収束保証を確立する。滑らかさの未知の程度に適応する収束速度を証明し、真の滑らかさが仮定された再生核ヒルベルト空間（RKHS）またはソボレフ空間の順序よりも低い場合でも最適な収束速度を達成できることを示す。

ABSTRACT

Kernel-based quadrature rules are becoming important in machine learning and statistics, as they achieve super-$\sqrt{n}$ convergence rates in numerical integration, and thus provide alternatives to Monte Carlo integration in challenging settings where integrands are expensive to evaluate or where integrands are high dimensional. These rules are based on the assumption that the integrand has a certain degree of smoothness, which is expressed as that the integrand belongs to a certain reproducing kernel Hilbert space (RKHS). However, this assumption can be violated in practice (e.g., when the integrand is a black box function), and no general theory has been established for the convergence of kernel quadratures in such misspecified settings. Our contribution is in proving that kernel quadratures can be consistent even when the integrand does not belong to the assumed RKHS, i.e., when the integrand is less smooth than assumed. Specifically, we derive convergence rates that depend on the (unknown) lesser smoothness of the integrand, where the degree of smoothness is expressed via powers of RKHSs or via Sobolev spaces.

研究の動機と目的

• 再生核ヒルベルト空間（RKHS）における滑らかさの仮定よりも被積分関数が滑らかでない場合のカーネル積分に対する理論的保証の欠如に対処する。
• 仮定された滑らかさではなく、実際の（未知の）被積分関数の滑らかさに依存する収束速度保証を提供する。
• 誤った設定における確率的および決定的点集合の両方に対して、一貫性および適応的収束速度を確立する。
• 被積分関数の真の滑らかさを事前に知らずとも、最適な収束速度を達成できることを示す。これは、RKHSおよびソボレフ空間の性質を活用することで実現される。

提案手法

• 被積分関数が $W_2^s$ に属すると仮定し、$s \leq r$ とする。ここで $r$ は仮定された滑らかさの順序である。このもとでカーネル積分の収束速度を導出する。
• 被積分関数 $f \notin \mathcal{H}$ であっても、RKHS $\mathcal{H}$ における最悪誤差を用いて積分誤差を抑え込む。
• 被積分関数の相対的滑らかさを表すパラメータ $\theta = s/r$ を導入し、収束速度が $O(n^{-\theta b + (1/2 - c)(1 - \theta)})$ となることを示す。
• 分離半径 $q_n \geq Cn^{-b/r}$ および有界な直径の仮定の下で、決定的点集合に対する収束速度 $O(n^{-bs/r})$ を確立する。
• 格子則やバッハの積分規則といった具体的な手法に結果を適用し、コロボフ空間における未知の滑らかさへの適応性を示す。
• ソボレフ空間とRKHS間のノルム同値性および埋め込み定理を用いて、誤差を被積分関数の真の滑らかさに関連付ける。

実験結果

リサーチクエスチョン

• RQ1 被積分関数が仮定されたRKHS やソボレフ空間の滑らかさよりも低い場合、カーネル積分規則は一貫性を保つことができるか？
• RQ2 真の滑らかさ $s$ が未知で $s < r$ である誤った設定において、どのような収束速度を保証できるか？
• RQ3 被積分関数の滑らかさを事前に知らずとも、カーネル積分手法が最適な収束速度に適応的に到達できるか？
• RQ4 重み $w_i$ や分離半径 $q_n$ に対する仮定が、誤った設定における収束にどのように影響するか？
• RQ5 格子則やバッハの積分規則といった既存の手法は、被積分関数が仮定よりも滑らかでない場合でも最適な収束速度を維持できるか？

主な発見

• 被積分関数が仮定されたRKHSに属さない場合でも、カーネル積分規則は一貫性を示し、収束速度が $O(n^{-\theta b + (1/2 - c)(1 - \theta)})$ となる。ここで $\theta = s/r$ は相対的滑らかさを表す。
• $c = 1/2$ の決定的点集合では、収束速度が $O(n^{-sb/r})$ に簡略化され、$b = r/d$ のとき、$W_2^s$ における最適な収束速度 $O(n^{-s/d})$ と一致する。
• $O(n^{-bs/r})$ の収束速度は、分離半径条件 $q_n \geq Cn^{-b/r}$ の下で達成され、これはコンpakト領域における等間隔グリッドで成立する。
• 真の滑らかさ $s$ を事前に知らずとも、$s \leq r$ が分かっていれば、$W_2^s$ における最適な収束速度を達成できることを示しており、未知の滑らかさへの適応性を実証する。
• 理論は確率的および決定的積分規則の両方、特に格子則やバッハの積分規則に適用可能であり、実用的な誤った設定においても頑健性を示す。
• 収束保証は $C_0^s \cap W_2^s$ に属する被積分関数について有効であり、仮定されたRKHSの滑らかさよりも低い広範な滑らかさレベルをカバーする。