[论文解读] Kernel Conditional Moment Test via Maximum Moment Restriction

Krikamol Muandet, Wittawat Jitkrittum+1 more|arXiv (Cornell University)|Feb 21, 2020

Statistical Methods and Inference参考文献 62被引用 6

一句话总结

本文提出了一种基于再生核希尔伯特空间（RKHS）表示的核条件矩（KCM）检验，用于条件矩限制（CMR）的新型设定检验方法，该方法通过条件矩嵌入（CMME）实现。通过将检验统计量定义为单位RKHS球内的最大矩限制（MMR），该方法实现了相合性、闭式渐近分布以及在小样本和小偏离情形下的优异有限样本性能，优于现有的ICM和光滑检验方法。

ABSTRACT

We propose a new family of specification tests called kernel conditional moment (KCM) tests. Our tests are built on a novel representation of conditional moment restrictions in a reproducing kernel Hilbert space (RKHS) called conditional moment embedding (CMME). After transforming the conditional moment restrictions into a continuum of unconditional counterparts, the test statistic is defined as the maximum moment restriction (MMR) within the unit ball of the RKHS. We show that the MMR not only fully characterizes the original conditional moment restrictions, leading to consistency in both hypothesis testing and parameter estimation, but also has an analytic expression that is easy to compute as well as closed-form asymptotic distributions. Our empirical studies show that the KCM test has a promising finite-sample performance compared to existing tests.

研究动机与目标

• 解决现有条件矩检验方法在所有固定替代假设下缺乏相合性，或因高维性及有限样本性能差而存在的局限性。
• 开发一类全新的设定检验方法，通过希尔伯特空间嵌入完全刻画条件矩限制，确保相合性与实际可用性。
• 提供一种计算高效的检验统计量，具有闭式表达式和已知的渐近分布，便于在计量经济学和因果推断应用中直接实现。
• 弥合机器学习中的核方法与计量经济学中条件矩限制框架之间的差距，提供一种统一且理论基础坚实的解决方案。
• 通过实证结果表明，所提出的KCM检验在低样本和小偏离情形下，统计功效显著高于ICM和光滑检验。

提出的方法

• 提出一种基于再生核希尔伯特空间（RKHS）的条件矩限制的新型表示方法，即条件矩嵌入（CMME），将条件矩限制转化为一个无条件矩限制的连续统。
• 将检验统计量定义为RKHS单位球内最大矩限制（MMR），其对应于嵌入条件矩函数的RKHS范数。
• 证明MMR可完全刻画原始条件矩限制，确保在所有固定替代假设下检验的相合性。
• 推导MMR的闭式解析表达式，实现高效计算，并促进渐近零分布的推导。
• 提出核条件矩（KCM）检验，作为一种相合的非参数设定检验，其在原假设下具有已知的渐近性质。
• 将该框架应用于同方差和异方差线性模型以及联立方程模型（SIMEQ），在多种数据生成过程中验证了其性能。

实验结果

研究问题

• RQ1 基于再生核希尔伯特空间（RKHS）的核方法能否为条件矩限制提供一种相合且计算上可行的检验方法？
• RQ2 RKHS单位球内的最大矩限制（MMR）是否能完全捕捉原始条件矩限制中的信息，从而确保对所有固定替代假设的相合性？
• RQ3 所提出的KCM检验在有限样本下的性能与现有方法（如ICM和光滑检验）相比如何，特别是在统计功效和第一类错误控制方面？
• RQ4 MMR统计量能否以闭式表达？其在原假设下的渐近分布是否已知，从而支持实际推断？
• RQ5 在模型设定错误下，KCM检验的实证行为如何，特别是在低样本和小偏离情形下？

主要发现

• KCM检验在有限样本下表现出优于ICM和光滑检验的统计功效，尤其在小样本情形（n ≤ 600）和原假设附近的小偏离下。
• MMR统计量具有闭式表达式和已知的渐近分布，支持实际应用和无需重采样的有效推断。
• 在所有实验中，该检验在5%显著性水平下均保持正确的第一类错误控制，如附录C.2图3的实证结果所示。
• 在同方差和异方差线性模型实验中，KCM检验对模型设定错误（δ ≠ 0）的检测灵敏度高于ICM和光滑检验，尤其当δ较小时。
• 在联立方程模型（SIMEQ）中，当样本量较小时或偏离原假设程度最小时，KCM检验的统计功效高于ICM和光滑检验。
• 由于MMR可通过RKHS嵌入完全刻画原始条件矩限制，KCM检验对所有固定替代假设均具相合性。