[論文レビュー] Minimax Estimation of Kernel Mean Embeddings

Ilya Tolstikhin, Bharath K. Sriperumbudur+1 more|arXiv (Cornell University)|Feb 13, 2016

Statistical Methods and Inference参考文献 29被引用数 4

ひとこと要約

本稿は、再生核ヒルベルト空間（RKHS）および$L^2(\mathbf{R}^d)$ノルムの下で、カーネル平均埋め込み（KME）推定のミニマックス最適収束速度を確立する。連続的で平行移動不変なカーネルを用いる場合、離散測度および無限に滑らかな密度を持つ測度の両方において、経験的推定器その他の推定器が達成する$\tilde{O}(n^{-1/2})$の収束速度が、カーネルの滑らかさや密度の正則性にかかわらずミニマックス最適であることを証明する。

ABSTRACT

In this paper, we study the minimax estimation of the Bochner integral $$μ_k(P):=\int_{\mathcal{X}} k(\cdot,x)\,dP(x),$$ also called as the kernel mean embedding, based on random samples drawn i.i.d.~from $P$, where $k:\mathcal{X} imes\mathcal{X} ightarrow\mathbb{R}$ is a positive definite kernel. Various estimators (including the empirical estimator), $\hatθ_n$ of $μ_k(P)$ are studied in the literature wherein all of them satisfy $\bigl\| \hatθ_n-μ_k(P)\bigr\|_{\mathcal{H}_k}=O_P(n^{-1/2})$ with $\mathcal{H}_k$ being the reproducing kernel Hilbert space induced by $k$. The main contribution of the paper is in showing that the above mentioned rate of $n^{-1/2}$ is minimax in $\|\cdot\|_{\mathcal{H}_k}$ and $\|\cdot\|_{L^2(\mathbb{R}^d)}$-norms over the class of discrete measures and the class of measures that has an infinitely differentiable density, with $k$ being a continuous translation-invariant kernel on $\mathbb{R}^d$. The interesting aspect of this result is that the minimax rate is independent of the smoothness of the kernel and the density of $P$ (if it exists). This result has practical consequences in statistical applications as the mean embedding has been widely employed in non-parametric hypothesis testing, density estimation, causal inference and feature selection, through its relation to energy distance (and distance covariance).

研究の動機と目的

• 確率測度$P$のカーネル平均埋め込み（KME）を、i.i.d.標本から推定する際のミニマックス収束速度を特定すること。
• 広く用いられる経験的推定器が達成する$n^{-1/2}$の収束速度が、最悪ケース設定において最適であるかどうかを確立すること。
• 2つのクラス、すなわち離散的確率測度と$\mathbb{R}^d$上での無限に滑らかな密度を持つ測度の両方に対して、ミニマックスリスクを分析すること。
• ミニマックス速度がカーネルの滑らかさおよび$P$の密度の滑らかさにどのように依存するかを調査すること。
• 平行移動不変カーネルの下で、$\norm{\bullet}_{\mathbf{H}_k}$および$L^2(\mathbb{R}^d)$ノルムの両方において、$n^{-1/2}$の速度がミニマックス最適であることを証明すること。

提案手法

• 平均が異なるが分散が固定のガウス測度を用いた2点検定法により、ミニマックス下界を導出する。
• ボホナーの定理および平行移動不変カーネルの性質を適用し、KMEのRKHSノルムをフーリエ変換の形で表現する。
• カーネルのスペクトル表現を用いて、2つのガウス測度のKME間のRKHS距離を、スペクトル測度に関する積分で上界・下界を評価する。
• 平均のユークリッド距離$\norm{\mu_0 - \mu_1}_2^2$を用いて、RKHS距離$\norm{\theta_0 - \theta_1}_{\mathbf{H}_k}^2$の下界を確立する。
• 下界が空でなく、ミニマックス解析に有効であるように、平均差と分散に制約を課す。
• 径数カーネルの場合の直接的解析（定理8）と、一般の方法としての補題3を用いたアプローチ（定理E.1）の2つの証明戦略を比較する。

実験結果

リサーチクエスチョン

• RQ1 離散的確率測度のクラスにおいて、KME推定器の$n^{-1/2}$収束速度はミニマックス最適か？
• RQ2 無限に滑らかな密度を持つ確率測度のクラスにおいて、$n^{-1/2}$収束速度はミニマックス最適か？
• RQ3 ミニマックス速度はカーネルの滑らかさや$P$の密度の滑らかさに依存するか？
• RQ4 スペクトル測度とボホナーの定理を用いて、平行移動不変カーネルに対して一般の下界を導出可能か？
• RQ5 標本サイズやパrameter選択の仮定が、ミニマックス下界の有効性にどのように影響するか？

主な発見

• カーネル平均埋め込み推定のミニマックス収束速度は、$\norm{\bullet}_{\mathbf{H}_k}$および$L^2(\mathbb{R}^d)$ノルムの両方で$n^{-1/2}$である。
• この$n^{-1/2}$の速度は、$\mathbb{R}^d$上での離散的確率測度のクラスにおいてミニマックス最適である。
• $n^{-1/2}$の速度は、$\mathbb{R}^d$上での無限に滑らかな密度を持つ確率測度のクラスに対してもミニマックス最適である。
• ミニマックス速度は、カーネルの滑らかさや$P$の密度の滑らかさに依存しない。これは、非パラメトリック推定における一般的なトレードオフとは対照的である。
• 下界は、平均が異なるガウス測度に対する2点検定法により導出され、それらのKME間のRKHS距離がスペクトル測度を含む積分で下から抑えられる。
• スペクトル測度$\nu$にやや弱い条件下で成立し、$\nu$の性質に応じて標本サイズの制約が生じるが、ガウスカーネルなどの一般的なカーネルに対しても有効である。