[論文レビュー] Positively Weighted Kernel Quadrature via Subsampling

Satoshi Hayakawa, Harald Oberhauser+1 more|arXiv (Cornell University)|Jul 20, 2021

Mathematical Approximation and Integration参考文献 49被引用数 4

ひとこと要約

本稿では、サブサンプリングとカーネルのスペクトル解析を用いた、凸カーネル四則則の構築のための新規手法を提案する。これにより、正の重みを伴う、理論的に裏付けられた、かつ効率的な四則則が可能となる。独立同一分布に従うサンプルとカーネル評価のみを用いて、最悪誤差率を向上させ、最先端の手法と同等またはそれを上回る性能を達成しており、合成データおよび実世界のデータセットにおいても強い実験的性能を示す。

ABSTRACT

We study kernel quadrature rules with convex weights. Our approach combines the spectral properties of the kernel with recombination results about point measures. This results in effective algorithms that construct convex quadrature rules using only access to i.i.d. samples from the underlying measure and evaluation of the kernel and that result in a small worst-case error. In addition to our theoretical results and the benefits resulting from convex weights, our experiments indicate that this construction can compete with the optimal bounds in well-known examples.

研究の動機と目的

• 独立同一分布に従うサンプルとカーネル評価のみを用いて、理論的に小さい最悪誤差を保証する凸カーネル四則則の構築を目的とする。
• カーネルのスペクトル的性質と再結合定理（例：カラテオドリの定理）を活用して、安定的かつ正の重みを持つ四則則を構築することを目的とする。
• 特に高次元または複雑な定義域において、カーネル四則則の理論的収束速度と実験的性能のギャップを埋めることを目的とする。
• 完全なメルツァー分解や期待値計算に依存しない効率的なアルゴリズムを提供し、実用的応用性を高めることを目的とする。

提案手法

• カラテオドリの定理を用いた再結合により、独立同一分布に従うサンプルとカーネル評価から凸四則則を構築する。
• カーネル積分作用素のメルツァーまたはニストローム近似を適用し、最悪誤差に対する理論的境界を導出する。
• 凸最適化（CQP）を用いて、モーメント制約の下で最悪誤差を最小化する正の重みを計算する。
• 理論的境界を近似しながら計算効率を向上させる、実験的バージョン（例：N. + 実験的）を導入する。
• ランダム化SVDと近似ヒューリスティクス（例：FNE）を用いて、正確性を損なわずに計算を高速化する。
• 2段階の測度低減フレームワークを採用する：まず、サブサンプリングにより目的測度を近似する。次に、低減された測度上に四則則を構築する。

実験結果

リサーチクエスチョン

• RQ1 完全なメルツァー分解の知識が不要な状況でも、独立同一分布に従うサンプルとカーネル評価のみを用いて、凸カーネル四則則を効率的に構築できるか？
• RQ2 スペクトル解析と再結合定理を用いた凸カーネル四則則において、理論的最悪誤差率はどの程度達成可能か？
• RQ3 提案手法は、DPP や SBQ や KT++ といった既存の最先端手法と比較して、誤差と計算コストの両面でどのように差をつけるか？
• RQ4 FNE などの実験的近似手法は、実行時間を著しく短縮しつつも、正確性をどの程度維持できるか？
• RQ5 構築に用いる実験的測度 $ \tilde{\nu} $ が真の測度 $ \nu $ と異なる場合、性能はどの程度劣化するか。この状況下で、主な誤差要因は何か？

主な発見

• メルツァーに基づく手法は、最悪誤差境界 $ r_n $ を達成しており、最適手法の理論的収束率と一致するが、メルツァー分解の知識を必要とする。
• ニストロームに基づく手法は、境界 $ n\tilde{\rho}_n + r_{n+1} + \frac{n}{\tilde{\rho}_n} $ を達成するが、理論的にはやや劣位であるが、実験では既存手法を上回る性能を示す。
• 実験的バージョン（N. + 実験的）は、境界 $ n\tilde{\rho}_n + r_{n+1} + \frac{n}{\tilde{\rho}_n} + \frac{1}{N} $ を達成し、計算コストは $ n\tilde{\rho}_n N + n\tilde{\rho}_n^2 + n^3\text{log}(N/n) $ である。実用的にも競争力のある性能を示す。
• FNE 近似手法により、$ n=160 $ の場合、実行時間が約2秒に短縮され、完全な N. + 実験的手法と同等の正確性を維持する。
• 実データセット（3D Road Network, Power Plant）における実験では、特に N. + 実験的 + 最適化 および FNE + 最適化 の手法が、独立同一分布に従うベイズ四則則やニストロームに基づく手法よりも誤差が小さく、実行時間の増加は限定的である。
• 第二の実験的測度 $ \tilde{\nu} $ で評価した場合、すべての手法の誤差は、$ \nu $ と $ \tilde{\nu} $ 間のMMD距離によって制限され、誤差が飽和する。これは、手法の誤差が四則則構築の誤差ではなく、データ近似の誤差に支配されていることを示している。