[论文解读] Distribution and Symmetric Distribution Regression Model for Histogram-Valued Variables

Sónia Dias, Paula Brito|arXiv (Cornell University)|Mar 25, 2013

Bayesian Methods and Mixture Models参考文献 25被引用 4

一句话总结

本文提出了一种用于符号数据分析中直方图变量的新型分布与对称分布（DSD）回归模型，采用马洛斯距离在参数非负性约束下最小化预测误差。该模型能够预测整个分布而非单一数值，其拟合优度度量范围为0至1，在真实数据与模拟数据应用中表现出色。

ABSTRACT

Histogram-valued variables are a particular kind of variables studied in Symbolic Data Analysis where to each entity under analysis corresponds a distribution that may be represented by a histogram or by a quantile function. Linear regression models for this type of data are necessarily more complex than a simple generalization of the classical model: the parameters cannot be negative still the linear relationship between the variables must be allowed to be either direct or inverse. In this work we propose a new linear regression model for histogram-valued variables that solves this problem, named Distribution and Symmetric Distribution Regression Model. To determine the parameters of this model it is necessary to solve a quadratic optimization problem, subject to non-negativity constraints on the unknowns; the error measure between the predicted and observed distributions uses the Mallows distance. As in classical analysis, the model is associated with a goodness-of-fit measure whose values range between 0 and 1. Using the proposed model, applications with real and simulated data are presented.

研究动机与目标

• 开发一种针对直方图变量的线性回归模型，尊重参数的非负性约束，同时允许正向与反向关系。
• 解决经典回归在处理具有固有变异性（如分组或聚合分布）的数据时的局限性。
• 通过预测完整直方图而非均值等汇总统计量，保留分布信息。
• 提供一种拟合优度度量，定量反映预测与观测分位数函数之间的接近程度。
• 通过建模解释变量与响应变量整个分布之间的关系，将经典回归扩展至符号数据。

提出的方法

• 模型采用二次优化框架，在非负性约束下估计参数，确保系数具有物理意义。
• 预测与观测分布之间的误差度量基于马洛斯距离，该距离适用于比较概率分布。
• 响应变量被建模为解释变量直方图的线性组合，系数受非负性约束。
• 模型利用分位数函数表示直方图变量的经验分布，通过距离度量实现精确比较。
• 推导出一个范围为0至1的拟合优度度量，基于预测与观测分位数函数的对齐程度评估模型性能。
• 使用美国各州层面的暴力犯罪与人口统计变量真实数据进行验证，将预测结果与经典基于均值的回归进行比较。

实验结果

研究问题

• RQ1 如何为直方图变量构建线性回归模型，以尊重参数的非负性，同时允许正向与负向关系？
• RQ2 在回归中，哪种距离度量最适合衡量预测与观测直方图响应之间的差异？
• RQ3 能否构建一种拟合优度度量，以反映符号回归中分布级预测的质量？
• RQ4 与将分布简化为单个数值（如均值）的经典回归模型相比，DSD模型在预测准确性上表现如何？
• RQ5 在实际应用中，该模型在多大程度上保留了变异性与分布结构？

主要发现

• DSD模型成功利用人口统计分布作为预测变量，预测了美国各州暴力犯罪率对数（LVC）的完整直方图。
• 参数估计表明，离婚人口的符号均值每增加1%，LVC的预测符号均值将增加0.1720，表明其在所有预测变量中影响最强。
• 对于阿肯色州，LVC的预测直方图范围为4.2250至7.7913，五个区间内均匀的分箱频率为0.2。
• 模型的拟合优度度量接近1，表明预测与观测分位数函数高度对齐，阿肯色州的可视化对比尤为明显。
• 与基于均值的经典线性回归（R² = 0.75）相比，DSD模型提供了更丰富的分布级预测，保留了变异性并提供了更具信息量的见解。
• DSD模型通过保留分布信息，优于经典方法，避免了均值简化策略中固有的变异性损失。