[论文解读] LP Mixed Data Science : Outline of Theory

Emanuel Parzen, Subhadeep Mukhopadhyay|arXiv (Cornell University)|Nov 4, 2013

Statistical Methods and Inference参考文献 15被引用 3

一句话总结

本文提出了 LP 混合数据科学，这是一种统一框架，通过从中位分布变换导出的正交勒让德型得分函数，对连续和离散变量进行非参数建模。该框架能够稳健估计经验 copula 密度、条件比较密度和依赖结构，借助 LP 共矩实现，提供了一套统一的理论与算法方法，将小样本与大数据分析、分类和两样本推断统一起来，具有优美的统计性质。

ABSTRACT

This article presents the theoretical foundation of a new frontier of research-`LP Mixed Data Science'-that simultaneously extends and integrates the practice of traditional and novel statistical methods for nonparametric exploratory data modeling, and is applicable to the teaching and training of statistics. Statistics journals have great difficulty accepting papers unlike those previously published. For statisticians with new big ideas a practical strategy is to publish them in many small applied studies which enables one to provide references to work of others. This essay outlines the many concepts, new theory, and important algorithms of our new culture of statistical science called LP MIXED DATA SCIENCE. It provides comprehensive solutions to problems of data analysis and nonparametric modeling of many variables that are continuous or discrete, which does not yet have a large literature. It develops a new modeling approach to nonparametric estimation of the multivariate copula density. We discuss the theory which we believe is very elegant (and can provide a framework for United Statistical Algorithms, for traditional Small Data methods and Big Data methods).

研究动机与目标

• 开发一个全面统一的统计建模理论，用于处理混合数据类型（连续与离散），弥合传统小样本与现代大数据方法之间的鸿沟。
• 解决在混合数据设置下，多变量 copula 密度非参数估计缺乏一致框架的问题。
• 基于中位分布函数与正交得分多项式，将分类、两样本推断与依赖建模统一于单一统计范式之下。
• 为现有方法提供一个理论优雅且实际可实现的替代方案，尤其适用于稀疏、高维或混合类型数据。
• 为统一统计算法奠定基础，通过共享的数学结构整合经典统计学、机器学习与数据科学。

提出的方法

• 通过 Gram-Schmidt 正交化方法构建正交得分函数 $ T_j(x;X) $，基于中位分布变换 $ F^{ ext{mid}}(X;X) $ 的幂次，随后通过 $ S_j(u;X) = T_j(Q(u;X);X) $ 映射至分位数函数。
• 对于连续变量 $ X $，使用在 $ (0,1) $ 上的正交勒让德多项式 $ \operatorname{Leg}_j(u) $ 作为得分函数：$ S_j(u;X) = \operatorname{Leg}_j(F(x;X)) $，构成非参数建模的基底。
• 将条件概率 $ \Pr[Y=1|X=x] $ 建模为这些正交得分函数的线性组合，实现无需假设参数形式的非参数逻辑回归。
• 利用 LP 表示估计 copula 密度：$ \operatorname{cop}(u,v;X,Y) - 1 = \sum_{j,k>0} \operatorname{LP}(j,k;X,Y) S_j(u;X) S_k(v;Y) $，其中 $ \operatorname{LP}(j,k;X,Y) $ 为 LP 共矩。
• 使用条件比较密度 $ d(v;Y,Y|X=Q(u;X)) = \operatorname{ComPr}[Y=Q(v;Y)|X=Q(u;X)] $ 建模依赖关系并模拟条件分位数。
• 应用 LPINFOR 压缩：通过 $ \operatorname{LPINFOR}(X_m,Y) $ 对特征排序，识别高维分类中的最具信息量预测变量。

实验结果

研究问题

• RQ1 如何构建一个统一的统计框架，以在小样本与大数据场景下对混合连续与离散变量进行建模？
• RQ2 能否通过中位分布变换导出的正交得分函数，提供一种比传统参数或非参数模型更具鲁棒性与灵活性的替代方案？
• RQ3 在混合数据设置下，如何利用正交多项式基底实现 copula 密度的非参数估计？
• RQ4 比较密度与贝叶斯法则在建模混合类型变量之间依赖关系中起什么作用？
• RQ5 LP 共矩与 LPINFOR 如何用于识别高维分类任务中的最具预测力特征？

主要发现

• 中位分布函数 $ F^{ ext{mid}}(x;X) = F(x;X) - 0.5p(x;X) $ 提供了一种连续的、基于秩的变换，统一了离散与连续数据的处理方式。
• 对于连续 $ X $，正交得分函数 $ S_j(u;X) = \operatorname{Leg}_j(F(x;X)) $ 构成一个基底，使得 $ \Pr[Y=1|X=x] $ 可表示为这些函数的线性组合，从而实现非参数建模。
• copula 密度的 LP 表示 $ \operatorname{cop}(u,v;X,Y) - 1 = \sum_{j,k>0} \operatorname{LP}(j,k;X,Y) S_j(u;X) S_k(v;Y) $ 提供了一种数据驱动的、非参数的依赖结构估计方法。
• LPINFOR 统计量 $ \operatorname{LP}(1,1;X,Y) $ 在独立性条件下渐近服从标准正态分布，且等价于 Wilcoxon 秩和检验，是一种稳健的依赖度量。
• 条件比较密度 $ d(v;Y,Y|X=Q(u;X)) $ 允许模拟条件分位数，并对混合类型数据中的依赖关系进行建模，且与贝叶斯法则通过比较概率直接关联。
• 该框架通过使用正交得分函数建模 $ Y=1 $ 的条件概率，实现了统一的两样本推断与分类，避免了对参数形式的假设。