[论文解读] A Kernel Test for Three-Variable Interactions

Dino Sejdinović, Arthur Gretton+1 more|London School of Economics and Political Science Research Online (London School of Economics and Political Science)|Jun 10, 2013

Bayesian Modeling and Causal Inference参考文献 34被引用 25

一句话总结

本文提出了一种基于核函数的非参数检验方法，利用再生核希尔伯特空间（RKHS）对符号测度进行嵌入，以检测三变量交互作用，能够一致地识别非可加性及高阶依赖关系。Lancaster交互作用检验在检测V-结构方面优于成对独立性检验和条件独立性检验，尤其在两个独立原因对共同效应的影响较弱但联合产生强依赖关系时表现更优。

ABSTRACT

We introduce kernel nonparametric tests for Lancaster three-variable interaction and for total independence, using embeddings of signed measures into a reproducing kernel Hilbert space. The resulting test statistics are straightforward to compute, and are used in powerful interaction tests, which are consistent against all alternatives for a large family of reproducing kernels. We show the Lancaster test to be sensitive to cases where two independent causes individually have weak influence on a third dependent variable, but their combined effect has a strong influence. This makes the Lancaster test especially suited to finding structure in directed graphical models, where it outperforms competing nonparametric tests in detecting such V-structures.

研究动机与目标

• 开发一种非参数检验方法，用于检测三变量交互作用，能够识别超出成对独立性的非可加性、高阶依赖关系。
• 解决现有检验方法在识别两类独立原因对第三变量影响微弱但联合产生强影响的场景时的局限性。
• 提供一种一致的、基于核函数的检验方法，适用于多变量和结构化数据，包括非欧几里得域。
• 通过更有效地检测V-结构，改进有向图模型中的结构学习。
• 通过在RKHS中对符号测度进行嵌入，将希尔伯特-施密特独立性准则（HSIC）推广至三重交互作用。

提出的方法

• 使用张量积核将表示三变量交互作用（Lancaster交互作用）的符号测度嵌入再生核希尔伯特空间（RKHS）。
• 将检验统计量定义为嵌入符号测度的RKHS范数的平方，该统计量为零当且仅当联合分布的所有三阶因子分解均满足。
• 采用基于置换的检验方法计算原假设（无三变量交互作用）的p值。
• 将该检验方法应用于检测Lancaster交互作用（即非可加性联合依赖）以及多变量和结构化数据中的总独立性。
• 在涉及因子分解检验的多重检验场景中，使用Holm-Bonferroni校正控制第一类错误。
• 通过选择合适的核函数，将该框架推广至非欧几里得或复杂域中的变量。

实验结果

研究问题

• RQ1 非参数核检验能否检测到成对独立性检验所遗漏的三变量交互作用？
• RQ2 所提出的Lancaster交互作用检验在检测有向图模型中V-结构方面，与条件独立性检验相比表现如何？
• RQ3 基于核函数的RKHS嵌入方法在高维或结构化数据中检测非可加性、高阶依赖关系方面是否有效？
• RQ4 当各变量的边际效应微弱但对第三变量有强联合影响时，该检验是否仍保持高统计功效？
• RQ5 该方法能否以一致且计算可行的方式扩展至检测三个或更多变量的总独立性？

主要发现

• Lancaster交互作用检验在检测V-结构方面显著优于成对独立性检验和条件依赖检验，尤其在各原因的边际效应微弱但联合影响强烈时表现更优。
• 在高维设置（p > 5）下，Lancaster统计量的第二类错误显著低于竞争方法，尤其在交互作用更复杂的Dataset A中表现突出。
• 该检验对一大类再生核具有的一致性，确保可靠检测非可加性交互作用。
• 该方法成功检测到变量两两独立但因高阶交互作用而相互依赖的情形，例如经典的{-1,1}三元组示例。
• RKHS嵌入框架使检验可应用于多变量和结构化数据，包括非欧几里得域，且无需参数假设。
• 总独立性检验可自然推广至三个以上变量，但高阶交互作用检测因组合复杂性导致计算成本显著增加。