[論文レビュー] Generalized Kernel Thinning

Raaz Dwivedi, Lester Mackey|arXiv (Cornell University)|Oct 4, 2021

Gaussian Processes and Bayesian Inference参考文献 44被引用数 5

ひとこと要約

この論文は、確率的推論を向上させるために、確率分布のコンactで低誤差なコアセット表現を構築する一般化されたカーネルスプライシング（GKT）を導入する。ターゲットカーネル（ターゲットKT）に直接カーネルスプライシングを適用するか、分数乗カーネル（パワーKT）を使用することで、次元に依存しない、モンテカルロ未満のMMD誤差率を達成する。これは、非滑らかで平方根が存在しないカーネル（ラプラスやマテrnなど）を含む多様なカーネルにおいて、標準的なi.i.d.サンプリングや先行のカーネルスプライシング手法を上回る。提案されたKT+バージョンは両者の長所を統合し、広範なカーネルと分布に対して最適な保証を提供する。

ABSTRACT

The kernel thinning (KT) algorithm of Dwivedi and Mackey (2021) compresses a probability distribution more effectively than independent sampling by targeting a reproducing kernel Hilbert space (RKHS) and leveraging a less smooth square-root kernel. Here we provide four improvements. First, we show that KT applied directly to the target RKHS yields tighter, dimension-free guarantees for any kernel, any distribution, and any fixed function in the RKHS. Second, we show that, for analytic kernels like Gaussian, inverse multiquadric, and sinc, target KT admits maximum mean discrepancy (MMD) guarantees comparable to or better than those of square-root KT without making explicit use of a square-root kernel. Third, we prove that KT with a fractional power kernel yields better-than-Monte-Carlo MMD guarantees for non-smooth kernels, like Laplace and Matérn, that do not have square-roots. Fourth, we establish that KT applied to a sum of the target and power kernels (a procedure we call KT+) simultaneously inherits the improved MMD guarantees of power KT and the tighter individual function guarantees of target KT. In our experiments with target KT and KT+, we witness significant improvements in integration error even in $100$ dimensions and when compressing challenging differential equation posteriors.

研究の動機と目的

• 標準的なi.i.d.サンプリングおよびスプライシングの非効率性、特に$n^{-1/4}$に比例した統合誤差スケーリングの問題を解決すること。
• 平方根カーネルに依存する先行のカーネルスプライシング（KT）手法の制限を克服し、次元に依存する誤差境界を回避すること。
• 平方根が存在しないカーネル（例：ラプラスやマテrnカーネル）を含む任意のカーネルに対して、次元に依存しないMMD保証を提供する統一フレームワークを構築すること。
• ターゲットKT（個々の関数に対するタイトな保証）とパワーKT（改善されたMMDレート）の利点を統合する新しいKT+手順を開発すること。

提案手法

• ターゲットカーネル$\mathbf{k}$に直接KTアルゴリズムを適用するターゲットカーネルスプライシング（ターゲットKT）を導入し、平方根カーネルの必要性を回避することで、次元に依存しないMMD保証を達成する。
• 分数$\alpha$-乗カーネル$\mathbf{k}_\alpha$を用いるパワー・カーネルスプライシング（パワーKT）を提案し、平方根が存在しない非滑らかカーネル（例：ラプラスやマテrn）に対しても改善されたMMD誤差レートを実現する。
• ターゲットカーネルとパワー・カーネルの和にスプライシングを適用するKT+というハイブリッド手法を開発し、両手法の最良の保証を統合する。
• 被覆数の境界とテイル半径解析を用いて、ガウス、逆多項式、シンク、Bスプライン、マテrnなどのカーネルに対して、さまざまなモーメントおよびテイル条件の下でのMMD誤差レートを導出する。
• 確率的集中不等式とRKHSノルム制御を用い、RKHS内に属する個々の関数に対して高確率で$\mathcal{O}(n^{-1/2}\sqrt{\log n})$の統合誤差を確立する。
• カーネルのスペクトル特性の精密な解析と、元の測度とスプライシング済み測度の間の不一致を用いて、次元に依存しないMMD誤差境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 平方根カーネルに依存せずに、次元に依存しないタイトなMMD誤差保証を達成できるようにカーネルスプライシングを一般化できるか？
• RQ2 平方根が存在しない非滑らかカーネル（例：ラプラスやマテrn）に対しても、改善されたMMD誤差率を達成できるか？
• RQ3 ターゲットKTの個々の関数の精度とパワーKTのMMDパフォーマンスを統合する統一手法を構築できるか？
• RQ4 一般化されたカーネルスプライシングの理論的保証が、解析的および非解析的カーネルを含む多様なカーネルにわたって成り立つか？

主な発見

• ターゲットKTは、任意のRKHS内関数に対して$\mathcal{O}(n^{-1/2}\sqrt{\log n})$の統合誤差を達成し、次元に依存せず、任意のカーネルおよび分布（重尾分布を含む）に適用可能である。
• ガウス、逆多項式、シンクなどの解析的カーネルに対して、ターゲットKTは平方根カーネルを必要とせず、ルートKTと同等またはそれ以上のMMD誤差を達成する。
• 分数$\alpha$-乗カーネルを用いるパワーKTは、ラプラスやマテrnなどの非滑らかカーネルに対して$\mathcal{O}(n^{-1/4\alpha})$のMMD誤差を達成する。ラプラスカーネルでは$\alpha > 1/2$、マテrnカーネルでは$\alpha > d/(2\nu)$が必要である。
• KT+はターゲットKTとパワーKTのMMD誤差レートの最小値を達成し、$\nu > d/2$のマテrnカーネルでは最適な$\mathcal{O}(n^{-1/4\alpha})$誤差を、解析的カーネルでは$\mathcal{O}(n^{-1/2}\sqrt{\log n})$を達成する。
• 高次元設定（最大100D）において、ターゲットKTおよびKT+を用いた微分方程式の事後分布の圧縮により、統合誤差が顕著に低減することが実験で示された。
• ターゲットKTは、平方根が存在しないカーネルを含め、すべてのカーネルに対して$\mathcal{O}(n^{-1/2}\sqrt{\log n})$のMMD誤差を達成し、i.i.d.スプライシングの$\Omega(n^{-1/4})$誤差を上回る。