[論文レビュー] Convergence Analysis of Deterministic Kernel-Based Quadrature Rules in Misspecified Settings

Motonobu Kanagawa, Bharath K. Sriperumbudur+1 more|arXiv (Cornell University)|Sep 1, 2017

Mathematical Approximation and Integration参考文献 44被引用数 5

ひとこと要約

本稿は、被積分関数が積分規則を構築するのに用いられるソボレフ RKHS より滑らかさが低いという不適合設定における、決定的カーネルベースの台形則の収束解析を提供する。2つの条件下で収束速度を確立している：重みの全 Variation が有界であること、または設計点間の最小距離の減少が遅いこと。また、設計点が分離条件を満たす場合、ベイズ台形則が滑らかさの未知の程度に適応的に最適な収束速度を達成できることを示している。

ABSTRACT

This paper presents a convergence analysis of kernel-based quadrature rules in misspecified settings, focusing on deterministic quadrature in Sobolev spaces. In particular, we deal with misspecified settings where a test integrand is less smooth than a Sobolev RKHS based on which a quadrature rule is constructed. We provide convergence guarantees based on two different assumptions on a quadrature rule: one on quadrature weights, and the other on design points. More precisely, we show that convergence rates can be derived (i) if the sum of absolute weights remains constant (or does not increase quickly), or (ii) if the minimum distance between design points does not decrease very quickly. As a consequence of the latter result, we derive a rate of convergence for Bayesian quadrature in misspecified settings. We reveal a condition on design points to make Bayesian quadrature robust to misspecification, and show that, under this condition, it may adaptively achieve the optimal rate of convergence in the Sobolev space of a lesser order (i.e., of the unknown smoothness of a test integrand), under a slightly stronger regularity condition on the integrand.

研究の動機と目的

• 真の被積分関数が仮定されたソボレフ RKHS より滑らかさが低い場合の、決定的カーネルベースの台形則の収束を分析すること。
• モデルの不適合性が生じても台形則が一貫性を保つ条件を同定すること。
• 不適合設定におけるベイズ台形則の収束速度を確立すること。
• 被積分関数の滑らかさが未知である場合に、ベイズ台形則が不適合性に対してロバストであり、滑らかさに適応的に対応できるような設計点の条件を導出すること。

提案手法

• 2つの異なる仮定のもとでソボレフ空間における収束を分析：台形則の重みの全 Variation が有界であること、および設計点間の最小距離の減少が遅いこと。
• 再生核ヒルベルト空間（RKHS）における最悪誤差の境界を用いて収束速度を導出する。
• 滑らかで compact な台を持つカーネルの性質を用い、近似関数の正則性を特徴付ける。
• 元の関数のノルムとスケーリングパラメータを用いて、近似関数のソボレフノルムの境界を導出する。
• L2 空間におけるフーリエ変換の等長性を活用し、近似が L2 の意味で収束することを示す。
• 設計点が分離条件を満たす場合、ベイズ台形則が低次のソボレフ空間において最適な収束速度に達することを確立する。

実験結果

リサーチクエスチョン

• RQ1 被積分関数が仮定された RKHS より滑らかさが低い場合、カーネルベースの台形則がどのような条件下で収束するか？
• RQ2 重みの全 Variation が有界である場合に、決定的カーネル台形則の収束速度を導出可能か？
• RQ3 設計点間の最小距離が、不適合設定における収束を保証するために果たす役割は何か？
• RQ4 被積分関数の滑らかさに関するモデルの不適合性に対して、どのようにしてベイズ台形則をロバストにできるか？
• RQ5 真の被積分関数の滑らかさが未知である場合、ベイズ台形則が最適な収束速度に適応的に達成可能か？

主な発見

• 絶対値の和が有界またはゆっくりと増加する場合、収束速度が確立される。
• 設計点間の最小距離が速く減少しない限り、不適合性が生じても収束が保証される。
• ベイズ台形則が不適合性に対してロバストであることを保証する設計点に関する条件が同定された。
• この条件下で、ベイズ台形則は被積分関数の未知の滑らかさに対応して、その滑らかさに等しい順序のソボレフ空間で最適な収束速度に適応的に達成可能である。
• 被積分関数の正則性がやや強い条件下にあれば、ベイズ台形則の収束速度は低次のソボレフ空間における最適速度と一致する。
• 解析により、ソボレフノルムにおける近似誤差が、元の関数のノルムとカーネルの台に関連するスケーリングパラメータによって制御されることが明らかになった。