[論文レビュー] Characteristic and Universal Tensor Product Kernels

Zoltán Szabó, Bharath K. Sriperumbudur|HAL (Le Centre pour la Communication Scientifique Directe)|Aug 28, 2017

Gaussian Processes and Bayesian Inference参考文献 2被引用数 39

ひとこと要約

本稿は、テンソル積カーネルが特徴的（characteristic）かつユニバーサル（universal）であるための必要十分条件を確立し、最大平均差分（MMD）が確率分布を区別できる場合や、ヒルベルト＝シュミット独立性基準（HSIC）が従属関係を検出できる場合に、長年の未解決問題を解消した。主な貢献は、モーメント条件から導かれる多項式不等式系を用いて、テンソル積カーネルの $χ$-特徴的性質を完全に特徴づけることである。

ABSTRACT

Maximum mean discrepancy (MMD), also called energy distance or N-distance in statistics and Hilbert-Schmidt independence criterion (HSIC), specifically distance covariance in statistics, are among the most popular and successful approaches to quantify the difference and independence of random variables, respectively. Thanks to their kernel-based foundations, MMD and HSIC are applicable on a wide variety of domains. Despite their tremendous success, quite little is known about when HSIC characterizes independence and when MMD with tensor product kernel can discriminate probability distributions. In this paper, we answer these questions by studying various notions of characteristic property of the tensor product kernel.

研究の動機と目的

• テンソル積カーネルが特徴的である条件を解明し、MMDがすべての確率分布を区別できるように保証すること。
• テンソル積カーネルがユニバーサルである条件を特定し、関数空間における稠密近似を保証すること。
• テンソル積カーネルに基づくHSICが統計的独立性を検出できる条件を確立すること。
• モーメントに基づく多項式不等式を用いて、テンソル積カーネルの $χ$-特徴的性質を完全に解析的に特徴づけること。

提案手法

• テンソル積RKHS $\mathscr{H}_{k_X} \otimes \mathscr{H}_{k_Y}$ におけるカーネル平均埋め込みを分析することで、テンソル積カーネル $k = k_X \otimes k_Y$ が特徴的であるための必要十分条件を導出する。
• 連合分布 $\mathbb{P}_{XY}$ と積測度 $\mathbb{P}_X \otimes \mathbb{P}_Y$ のモーメント条件を用い、変数 $z_0, \dots, z_5$（モーメントを表す）における多項式不等式系を導出する。
• MATLABを用いた記号計算により、不等式系 (25)–(30) を解き、$\text{MMD}_k(\mathbb{P}_{XY}, \mathbb{P}_X \otimes \mathbb{P}_Y) = 0$ が独立性を意味する正確な条件を同定する。
• テンソル積ヒルベルト空間とヒルベルト＝シュミット作用素の同型性を活用し、MMDの定式化とHSICフレームワークを結びつける。
• 連合分布のモーメントが満たすべき不等式系を通じて、$\mathcal{I}$-特徴的性質を特徴づける。
• カーネル $k_X$ および $k_Y$ から導かれる特定のモーメントベクトルの線形独立性と、$k_X \otimes k_Y$ の特徴的性質との関係を確立する。

実験結果

リサーチクエスチョン

• RQ1 テンソル積カーネル $k_X \otimes k_Y$ が特徴的である条件は何か？ これにより $\text{MMD}_{k_X \otimes k_Y}(\mathbb{P}_{XY}, \mathbb{P}_X \otimes \mathbb{P}_Y) = 0$ が $\mathbb{P}_{XY} = \mathbb{P}_X \otimes \mathbb{P}_Y$ を意味する。
• RQ2 テンソル積カーネル $k_X \otimes k_Y$ がユニバーサルである条件は何か？ これにより連続関数空間における稠密近似が保証される。
• RQ3 HSICが $X$ と $Y$ 間の統計的従属関係を検出できるための必要十分条件は何か？
• RQ4 $\mathcal{I}$-特徴的性質は、モーメントに基づく多項式不等式を用いてどのように解析的に特徴づけられるか？

主な発見

• 本稿は、テンソル積カーネルの $\mathcal{I}$-特徴的性質を特徴づける多項式不等式系 (25)–(30) に対する完全な解析的解を提供する。
• カーネル $k_X \otimes k_Y$ が特徴的であるための必要十分条件は、モーメント条件から導かれる不等式系が、単位立方体 $[0,1]^6$ 内に非自明な解を持たないことであると証明した。
• 解の結果から、$\text{MMD}_{k_X \otimes k_Y}(\mathbb{P}_{XY}, \mathbb{P}_X \otimes \mathbb{P}_Y) = 0$ が独立性を意味するのは、連合分布のモーメントが導出された不等式を満たす場合に限ることを示した。
• この手法により、カーネル平均埋め込みの明示的計算を必要とせず、$k_X \otimes k_Y$ の特徴的性質が $k_X$ および $k_Y$ から導かれるモーメントベクトルの線形独立性に依存することを同定した。
• 理論的ギャップを解消し、多項式不等式を用いて明示的にチェック可能な条件下で、テンソル積カーネルが特徴的であることを示した。
• 本フレームワークにより、カーネル平均埋め込みの明示的計算を経ずに、テンソル積カーネルの特徴的性質の検証が可能である。