[论文解读] Modeling, dependence, classification, united statistical science, many cultures

Emanuel Parzen, Subhadeep Mukhopadhyay|arXiv (Cornell University)|Apr 20, 2012

Financial Risk and Volatility Modeling参考文献 22被引用 10

一句话总结

本文提出了一种统一框架，通过中分布函数和勒让德多项式导出的正交化得分函数，对小数据和大数据中的依赖关系进行建模。该框架提出 LPINFOR，一种基于分位数的非参数依赖度量，可捕捉非线性和尾部依赖关系，在分类、经验Copula密度估计和条件建模中具有应用价值，提供了一种计算高效的黑箱方法替代方案，同时统一了参数化、算法化和信息论统计文化。

ABSTRACT

Breiman (2001) proposed to statisticians awareness of two cultures: 1. Parametric modeling culture, pioneered by R.A.Fisher and Jerzy Neyman; 2. Algorithmic predictive culture, pioneered by machine learning research. Parzen (2001), as a part of discussing Breiman (2001), proposed that researchers be aware of many cultures, including the focus of our research: 3. Nonparametric, quantile based, information theoretic modeling. We provide a unification of many statistical methods for traditional small data sets and emerging big data sets in terms of comparison density, copula density, measure of dependence, correlation, information, new measures (called LP score comoments) that apply to long tailed distributions with out finite second order moments. A very important goal is to unify methods for discrete and continuous random variables. Our research extends these methods to modern high dimensional data modeling.

研究动机与目标

• 将传统参数建模、算法预测与基于分位数的信息论非参数方法统一为单一的统计科学文化。
• 开发一种依赖度量 LPINFOR，其可捕捉非线性和重尾依赖关系，且无需依赖有限二阶矩。
• 通过 Copula 和对比密度的正交级数展开，实现对边际、联合与条件分布的可解释、数据自适应建模。
• 提供一种计算高效、非黑箱的机器学习方法替代方案，通过 LP 常量矩和条件信息度量等诊断工具‘观察数据’。

提出的方法

• 从中分布函数 $ F^{\text{mid}}(x;X) = F(x;X) - 0.5p(x;X) $ 构造正交化得分函数 $ T_j(x;X) $，并在区间 $ (0,1) $ 上通过勒让德多项式进行近似。
• 定义分位数函数 $ Q(u;X) $ 和得分向量 $ Sc(X) = (T_1(X;X), \dots, T_m(X;X)) $，以及 $ Sco(X) = (X - \mathbb{E}[X], Sc(X)) $。
• 将 LP 常量矩矩阵 $ \operatorname{LP}(j,k;X,Y) $ 定义为得分向量 $ Sc(X) $ 与 $ Sc(Y) $ 的协方差，作为依赖度量的基础。
• 将 $ \operatorname{LPINFOR}(X,Y) $ 定义为最大 LP 常量矩的平方和，作为非参数依赖度量。
• 通过 LP 常量矩对 Copula 密度和对比密度进行正交级数展开，利用 AIC 进行模型选择，以确保数据自适应的复杂度。
• 在奇偶形式中应用贝叶斯定理，关联条件对比密度与 Copula 密度，实现 $ \mathbb{E}[Y|X] $、$ \mathbb{E}[T_k(Y;Y)|X] $ 和 $ \operatorname{cop}(u,v;X,Y) $ 的非参数估计。

实验结果

研究问题

• RQ1 如何以统一的非参数方式度量离散与连续变量之间的依赖关系，同时捕捉尾部依赖和非线性特征？
• RQ2 能否构建一种对长尾分布具有鲁棒性且无需依赖有限二阶矩的依赖度量？
• RQ3 如何基于正交化得分函数的正交级数展开，估计 Copula 密度和条件期望？
• RQ4 LP 常量矩在诊断双变量数据中的非正态依赖与尾部分布行为中起什么作用？
• RQ5 如何在保持可解释性和计算效率的前提下，将该框架推广至高维数据？

主要发现

• LPINFOR 度量通过平方 LP 常量矩之和估计，其在间歇泉数据中达到 0.69，表明存在强依赖关系，而皮尔逊相关系数因尾部聚类被高估至 0.9。
• LP 常量矩矩阵揭示了间歇泉数据中明显的尾部依赖模式，点在左下角和右上角聚集，而标准相关系数无法准确捕捉此现象。
• 通过 AIC 选择的乘积基函数 $ S_j(X)S_k(Y) $ 估计的 Copula 密度，提供了对尾部依赖关系的惊人准确且完整的图像，经接受-拒绝采样验证。
• 条件 LPINFOR 表示 $ \operatorname{LPINFOR}(Y|X=Q(u;X)) $ 将总依赖分解为基于分位数位置的贡献，实现了对整个分位数范围的可解释诊断。
• 该框架成功通过得分函数的线性组合估计了非参数回归函数 $ \mathbb{E}[Y|X] $ 和 $ \mathbb{E}[T_k(Y;Y)|X] $，并利用 AIC 选择模型以确保最优复杂度。
• 推导出 $ \operatorname{Var}(X) $ 和 $ \operatorname{Cov}(X,Y) $ 作为 LP 常量矩的线性组合的新表示，从而实现对非正态和重尾行为的诊断。