[论文解读] Credibility evaluation of income data with hierarchical correlation reconstruction

Jarek Duda, Adam Szulc|arXiv (Cornell University)|Dec 19, 2018

Advanced Data Compression Techniques参考文献 9被引用 4

一句话总结

本文提出一种分层相关性重构（HCR）方法，通过使用内生变量建模其条件概率分布，以评估申报收入的可信度。通过将收入标准化为[0,1]的均匀分布，并将密度建模为正交多项式的线性组合，该方法实现了可解释的、基于矩的可信度评分——当m=4时，对数似然性能最优。

ABSTRACT

In situations like tax declarations or analyzes of household budgets we would like to automatically evaluate credibility of exogenous variable (declared income) based on some available (endogenous) variables - we want to build a model and train it on provided data sample to predict (conditional) probability distribution of exogenous variable based on values of endogenous variables. Using Polish household budget survey data there will be discussed simple and systematic adaptation of hierarchical correlation reconstruction (HCR) technique for this purpose, which allows to combine interpretability of statistics with modelling of complex densities like in machine learning. For credibility evaluation we normalize marginal distribution of predicted variable to $ρ\approx 1$ uniform distribution on $[0,1]$ using empirical distribution function $(x=EDF(y)\in[0,1])$, then model density of its conditional distribution $( extrm{Pr}(x_0|x_1 x_2\ldots))$ as a linear combination of orthonormal polynomials using coefficients modelled as linear combinations of features of the remaining variables. These coefficients can be calculated independently, have similar interpretation as cumulants, additionally allowing to directly reconstruct probability distribution. Values corresponding to high predicted density can be considered as credible, while low density suggests disagreement with statistics of data sample, for example to mark for manual verification a chosen percentage of data points evaluated as the least credible.

研究动机与目标

• 开发一种自动评估申报收入可信度的方法，利用辅助家庭变量。
• 对收入的完整条件概率分布进行建模，而非仅关注其均值，从而能够检测多峰或异常模式。
• 结合统计矩的可解释性与类似机器学习的密度建模灵活性。
• 使用经验分布函数标准化，确保边际分布为均匀分布，从而实现在收入范围内的公平可信度评分。
• 将预测分布中的低密度区域识别为潜在异常值或错误，需人工审查。

提出的方法

• 使用经验分布函数（EDF）将外生变量（申报收入）标准化为[0,1]的均匀分布。
• 将条件密度 Pr(x₀|x₁,…,x_d) 建模为 x₀ 的正交多项式线性组合，其中系数依赖于通过最小二乘回归得到的内生变量。
• 利用多项式展开的系数表示统计矩（均值、方差、偏度、峰度），实现类似累积量的可解释性。
• 在75%的波兰家庭预算调查数据上训练模型，并在剩余25%的数据上进行评估，以对数似然为主要指标。
• 应用分层相关性重构（HCR）建模联合密度，系数通过最小化均方误差进行优化。
• 使用模型阶数 m（最高至9）控制复杂度，m=4 被发现能在性能与可解释性之间达到最佳平衡。

实验结果

研究问题

• RQ1 分层相关性重构能否基于辅助变量有效建模收入数据的复杂、多峰条件密度？
• RQ2 多项式阶数 m 的选择如何影响预测对数似然和可信度评估的准确性？
• RQ3 多项式展开的系数在多大程度上可被解释为有意义的统计矩（如均值、方差、偏度）？
• RQ4 预测密度值较低的区域是否能可靠识别出与样本统计不一致的数据点，从而指示潜在错误或欺诈？
• RQ5 相较于仅基于成对关系的方法，更高阶依赖关系（如三重相关性）在可信度建模中能带来多大提升？

主要发现

• 当 m=2 时，模型的对数似然比均匀基线（ρ=1）高出约 1.5 比特，表明对实际收入值的预测显著更优。
• 模型性能在 m=4 时达到峰值，相比均匀基线对数似然提升约 2.0 比特，表明复杂度与准确性的最佳平衡。
• 当 m=4 时，模型预测的条件密度方差高于样本方差，表明尾部分布行为更强，对多峰模式的检测能力更优。
• 约三分之一的预测分布标准差大于样本标准差，表明对极端值的敏感性增强。
• 连续变量（如食品、年龄）的系数表现出可解释的关系：食品的负系数表明与收入呈负相关，而年龄的正系数表明呈正相关。
• 该方法识别出一个12人家庭为异常值，其预测收入出现令人意外的骤降，凸显对罕见数据点的敏感性。