[论文解读] A simpler condition for consistency of a kernel independence test

Arthur Gretton|arXiv (Cornell University)|Jan 25, 2015

Fault Detection and Control Systems参考文献 12被引用 10

一句话总结

本文通过希尔伯特-施мิด트独立性准则（HSIC）简化了基于核的独立性检验的一致性条件。证明了当在各个变量域 𝒳 和 𝒴 上的核为特征核时，HSIC 检验即具有一致性——即使在联合域上的乘积核并非特征核——从而扩大了其在复杂域（如正交矩阵或非负向量）中的适用范围。

ABSTRACT

A statistical test of independence may be constructed using the Hilbert-Schmidt Independence Criterion (HSIC) as a test statistic. The HSIC is defined as the distance between the embedding of the joint distribution, and the embedding of the product of the marginals, in a Reproducing Kernel Hilbert Space (RKHS). It has previously been shown that when the kernel used in defining the joint embedding is characteristic (that is, the embedding of the joint distribution to the feature space is injective), then the HSIC-based test is consistent. In particular, it is sufficient for the product of kernels on the individual domains to be characteristic on the joint domain. In this note, it is established via a result of Lyons (2013) that HSIC-based independence tests are consistent when kernels on the marginals are characteristic on their respective domains, even when the product of kernels is not characteristic on the joint domain.

研究动机与目标

• 确定 HSIC 基独立性检验一致性的一个更简单、更实用的条件。
• 解决先前一致性条件要求联合域上乘积核为特征核的局限性，而这一条件在实际中往往难以满足。
• 证明仅在每个边缘域 𝒳 和 𝒴 上使用特征核即可保证一致性。
• 为 HSIC 在联合特征核难以定义的场景（如结构化域）中的应用提供理论基础。
• 澄清两点：两个域都必须具有特征核——若仅一个域具有特征核，则一致性会失效。

提出的方法

• 利用 Lyons（2013）关于在再生核希尔伯特空间（RKHS）中对带符号测度实现单射嵌入的结果，建立一致性条件。
• 应用 Gretton 等人（2012）的引理 3.8，证明协方差算子为零意味着依赖度量也为零。
• 使用平移不变、c₀-核，且为特征核，以确保有限带符号测度的单射嵌入。
• 定义带符号测度 θ = P_XY − P_XP_Y，并证明其在张量积空间中的嵌入为零，当且仅当 θ = 0。
• 通过 𝒳 和 𝒴 上的再生核希尔伯特空间的特征映射 φ 和 ψ，构造在联合空间上积分的协方差算子 C_YX。
• 建立在每个域上单独测度的嵌入单射性，从而避免对联合特征核的依赖。

实验结果

研究问题

• RQ1 HSIC 基独立性检验的一致性是否可在弱于联合乘积核为特征核的条件下得到保证？
• RQ2 仅当 𝒳 和 𝒴 上的核为特征核时，即使其乘积在联合域上非特征核，是否仍足以保证一致性？
• RQ3 HSIC 检验是否可一致地应用于结构化域（如正交矩阵或非负向量），其中联合特征核难以定义？
• RQ4 HSIC 检验检测所有形式依赖的最小核要求是什么？
• RQ5 为何当仅一个域具有特征核（即使另一个没有）时，检验会失效？

主要发现

• 当在每个独立域 𝒳 和 𝒴 上的核为特征核时，HSIC 基独立性检验即具有一致性，即使在联合域上的乘积核非特征核。
• 该证明依赖于通过平移不变、c₀-核（且为特征核）实现的带符号测度在 RKHS 中嵌入的单射性。
• 关键结果为：若 C_YX = 0，则 θ = 0，其中 θ = P_XY − P_XP_Y，这意味着统计独立性。
• 该条件严格弱于要求联合域上乘积核为特征核，从而可更广泛地应用于复杂域。
• 反例表明，若仅一个域具有特征核（如在 ℝ 上使用线性核），则检验可能无法检测到依赖关系，例如在环形数据中。
• 该结果具有鲁棒性和普适性：适用于任意一对在波兰空间、局部紧致豪斯多夫空间上的特征、平移不变、c₀-核。