[论文解读] Characteristic and Universal Tensor Product Kernels

Zoltán Szabó, Bharath K. Sriperumbudur|HAL (Le Centre pour la Communication Scientifique Directe)|Aug 28, 2017

Gaussian Processes and Bayesian Inference参考文献 2被引用 39

一句话总结

本文確立了張量積核為特徵核與普遍核的充分必要條件，解決了關於最大平均差異（MMD）與張量積核能否區分機率分佈，以及希爾伯特-施密特獨立性檢測（HSIC）能否檢測依賴性的長期懸而未決問題。主要貢獻在於利用基於矩條件推導出的多項式不等式系統，對張量積核的 $χ$-特徵性進行了完整特徵化。

ABSTRACT

Maximum mean discrepancy (MMD), also called energy distance or N-distance in statistics and Hilbert-Schmidt independence criterion (HSIC), specifically distance covariance in statistics, are among the most popular and successful approaches to quantify the difference and independence of random variables, respectively. Thanks to their kernel-based foundations, MMD and HSIC are applicable on a wide variety of domains. Despite their tremendous success, quite little is known about when HSIC characterizes independence and when MMD with tensor product kernel can discriminate probability distributions. In this paper, we answer these questions by studying various notions of characteristic property of the tensor product kernel.

研究动机与目标

• 解決張量積核為特徵核的開放問題，確保MMD能區分所有機率分佈。
• 確定張量積核為普遍核的條件，確保在函數空間中具有稠密逼近性。
• 建立HSIC基於張量積核能檢測統計獨立性的條件。
• 利用基於矩的多項式不等式，對張量積核的 $χ$-特徵性提供完整的解析特徵化。

提出的方法

• 透過分析張量積再生核Hilbert空間 $\mathscr{H}_{k_X} \otimes \mathscr{H}_{k_Y}$ 中的核均值嵌入，推導出張量積核 $k = k_X \otimes k_Y$ 為特徵核的必要與充分條件。
• 利用聯合分佈 $\mathbb{P}_{XY}$ 與乘積測度 $\mathbb{P}_X \otimes \mathbb{P}_Y$ 的矩條件，推導出變數 $z_0, \dots, z_5$（代表矩）的多項式不等式系統。
• 應用符號計算（透過MATLAB）求解多項式不等式系統（25）–（30），以識別 $\text{MMD}_k(\mathbb{P}_{XY}, \mathbb{P}_X \otimes \mathbb{P}_Y) = 0$ 蘊含統計獨立性的精確條件。
• 利用張量積Hilbert空間與Hilbert-Schmidt算子之間的同構關係，將MMD公式與HSIC框架連結。
• 透過必須由聯合分佈矩滿足的不等式系統，特徵化 $\mathcal{I}$-特徵性。
• 建立 $k_X \otimes k_Y$ 的特徵性與由核所導出的某些矩向量線性獨立性之間的關聯。

实验结果

研究问题

• RQ1 在何種條件下，張量積核 $k_X \otimes k_Y$ 為特徵核，以確保 $\text{MMD}_{k_X \otimes k_Y}(\mathbb{P}_{XY}, \mathbb{P}_X \otimes \mathbb{P}_Y) = 0$ 蘊含 $\mathbb{P}_{XY} = \mathbb{P}_X \otimes \mathbb{P}_Y$？
• RQ2 在何種條件下，張量積核 $k_X \otimes k_Y$ 為普遍核，以確保在連續函數空間中具有稠密逼近性？
• RQ3 基於 $k_X \otimes k_Y$ 的HSIC檢測 $X$ 與 $Y$ 之間統計依賴性的必要與充分條件為何？
• RQ4 如何利用基於矩的多項式不等式，對 $k_X \otimes k_Y$ 的 $\mathcal{I}$-特徵性進行解析特徵化？

主要发现

• 本文提供了對特徵化張量積核 $\mathcal{I}$-特徵性的多項式不等式系統（25）–（30）的完整解析解。
• 證明 $k_X \otimes k_Y$ 為特徵核，當且僅當由矩條件推導出的不等式系統在單位立方體 $[0,1]^6$ 內無非平凡解。
• 解顯示 $\text{MMD}_{k_X \otimes k_Y}(\mathbb{P}_{XY}, \mathbb{P}_X \otimes \mathbb{P}_Y) = 0$ 蘊含獨立性，當且僅當聯合分佈的矩滿足所推導出的不等式。
• 該方法識別出 $k_X \otimes k_Y$ 的特徵性取決於由 $k_X$ 與 $k_Y$ 所導出的矩向量的線性獨立性。
• 研究結果透過顯示張量積核在可透過多項式不等式明確驗證的條件下為特徵核，解決了長期存在的理論缺口。
• 該框架允許在無需顯式計算核均值嵌入的情況下，驗證張量積核的特徵性。