[论文解读] Robust Hypothesis Test for Nonlinear Effect with Gaussian Processes

Jeremiah Zhe Liu, Brent A. Coull|arXiv (Cornell University)|Oct 3, 2017

Gaussian Processes and Bayesian Inference参考文献 15被引用 5

一句话总结

本文提出了一种基于高斯过程的稳健假设检验方法，用于检测非线性效应，利用线性混合模型框架中的方差成分进行单侧得分检验。通过引入交叉验证核集成（CVEK）估计器，确保在模型误设和小样本情况下的可靠性能，结果表明在各种数据生成函数下，该方法在控制第一类错误和检验效能方面均优于标准核选择方法。

ABSTRACT

This work constructs a hypothesis test for detecting whether an data-generating function $h: R^p ightarrow R$ belongs to a specific reproducing kernel Hilbert space $\mathcal{H}_0$ , where the structure of $\mathcal{H}_0$ is only partially known. Utilizing the theory of reproducing kernels, we reduce this hypothesis to a simple one-sided score test for a scalar parameter, develop a testing procedure that is robust against the mis-specification of kernel functions, and also propose an ensemble-based estimator for the null model to guarantee test performance in small samples. To demonstrate the utility of the proposed method, we apply our test to the problem of detecting nonlinear interaction between groups of continuous features. We evaluate the finite-sample performance of our test under different data-generating functions and estimation strategies for the null model. Our results reveal interesting connections between notions in machine learning (model underfit/overfit) and those in statistical inference (i.e. Type I error/power of hypothesis test), and also highlight unexpected consequences of common model estimating strategies (e.g. estimating kernel hyperparameters using maximum likelihood estimation) on model inference.

研究动机与目标

• 开发一种假设检验方法，用于判断未知非线性数据生成函数是否属于部分已知的再生核希尔伯特空间（RKHS）。
• 解决在高斯过程等黑箱模型中测试特征效应的挑战，因为传统基于参数的推断方法不直接适用。
• 在小样本设置下，确保对核函数误设以及模型过拟合/欠拟合的稳健性。
• 提出一种基于集成的估计器（CVEK），通过最小化交叉验证误差来选择最优核结构，以实现可靠的零假设模型估计。
• 在基于核的假设检验背景下，弥合机器学习（欠拟合/过拟合）与统计推断（第一类错误/检验效能）之间的概念联系。

提出的方法

• 基于RKHS结构中编码感兴趣特征效应的标量参数，构建假设检验的单侧得分检验。
• 将高斯过程回归重新表述为线性混合模型（LMM），以支持方差成分检验。
• 仅基于零假设模型估计计算得分检验统计量，避免完整拟合备择模型。
• 开发交叉验证核集成（CVEK）估计器，通过最小化样本外预测误差从核库中选择最优核。
• 将CVEK应用于RBF核与神经网络核，使用超参数网格以确保稳健性。
• 利用LMM框架推导得分检验统计量及其在零假设下的渐近分布。

实验结果

研究问题

• RQ1 当功能形式未知且仅对零假设RKHS具有部分知识时，如何在高斯过程等黑箱模型中检验非线性效应？
• RQ2 核函数误设（尤其是过拟合或欠拟合）对假设检验的第一类错误和统计效能有何影响？
• RQ3 在标准核估计策略失效的小样本中，基于集成的核选择方法是否能提升检验性能？
• RQ4 常见的模型估计实践（如超参数的MLE）如何影响假设检验的有效性？
• RQ5 机器学习中的欠拟合/过拟合概念与统计推断中的第一类错误和检验效能之间存在何种关系？

主要发现

• 当使用CVEK估计器时，该检验在所有数据生成函数下均能保持正确的第一类错误（接近0.05），即使存在模型误设。
• 多项式核（线性和二次）始终存在欠拟合，导致第一类错误膨胀和检验效能降低。
• 低阶马尔蒂恩核（1/2和3/2）在真实函数为光滑时出现过拟合，导致第一类错误被低估且检验效能严重下降。
• 在小样本中，使用MLE估计超参数的RBF核第一类错误显著膨胀（最高达0.238），尤其在复杂或粗糙函数中更为明显。
• RBF-Median（基于数据距离的中位数）表现良好但略为保守；CVEK-RBF与CVEK-NN在第一类错误控制和检验效能方面均优于所有非集成方法。
• CVEK-RBF与CVEK-NN在所有真实核类型下均表现出稳健性能，其中CVEK-RBF略具更强效能，表明基于集成的核选择在实现可靠推断方面具有显著优势。