[论文解读] A Measure-Theoretic Approach to Kernel Conditional Mean Embeddings

Jun-Hyung Park, Krikamol Muandet|arXiv (Cornell University)|Jan 1, 2020

Statistical Methods and Inference被引用 5

一句话总结

本文提出了一种基于测度论的核条件期望嵌入（CME）框架，将CME视为再生核希尔伯特空间中的随机变量，避免了对严格算子理论假设的依赖。该框架建立了一种基于回归的估计方法，具有普遍的一致性，并推导出最大均值差异与希尔伯特-施密特独立性准则的条件版本，通过模拟实验得到验证。

ABSTRACT

We present an operator-free, measure-theoretic approach to the conditional mean embedding (CME) as a random variable taking values in a reproducing kernel Hilbert space. While the kernel mean embedding of unconditional distributions has been defined rigorously, the existing operator-based approach of the conditional version depends on stringent assumptions that hinder its analysis. We overcome this limitation via a measure-theoretic treatment of CMEs. We derive a natural regression interpretation to obtain empirical estimates, and provide a thorough theoretical analysis thereof, including universal consistency. As natural by-products, we obtain the conditional analogues of the maximum mean discrepancy and Hilbert-Schmidt independence criterion, and demonstrate their behaviour via simulations.

研究动机与目标

• 为解决依赖于严格假设的算子理论CME表述所存在的局限性。
• 基于测度论原理，构建一种严谨且无需算子理论的CME框架。
• 通过自然的回归解释，实现CME的经验证估计。
• 推导最大均值差异与希尔伯特-施密特独立性准则的条件版本。
• 对所提出的估计方法提供全面的理论分析，包括普遍一致性。

提出的方法

• 基于测度论基础，将CME形式化为再生核希尔伯特空间中的随机变量。
• 通过希尔伯特空间中的条件期望定义CME，避免算子理论的约束。
• 通过条件期望嵌入的回归解释推导经验估计器。
• 在温和的正则性条件下，建立经验估计器的普遍一致性。
• 通过将无条件版本扩展至条件设置，构建条件MMD与HSIC。
• 使用模拟实验展示所推导条件统计量的行为与有效性。

实验结果

研究问题

• RQ1 如何在不依赖严格算子理论假设的前提下，严谨地定义核条件期望嵌入？
• RQ2 在测度论框架下，能否为CME的经验估计推导出基于回归的解释？
• RQ3 在新表述下，最大均值差异与希尔伯特-施密特独立性准则的条件版本是什么？
• RQ4 所提出的经验证估计器是否能达到普遍一致性？
• RQ5 所推导的条件统计量在实际场景中表现如何？

主要发现

• 所提出的测度论框架消除了CME表述中对严格算子理论假设的依赖。
• CME被成功重新解释为再生核希尔伯特空间中的随机变量，从而实现了更广泛且灵活的分析。
• 推导出一种基于回归的经验估计器，在温和条件下具有普遍一致性。
• 正式构建并验证了最大均值差异与希尔伯特-施密特独立性准则的条件版本。
• 模拟实验展示了所推导条件统计量的预期行为与鲁棒性。
• 该方法为核方法中的条件分布推断提供了坚实的理论基础。