[论文解读] Generalized Linear Models for Aggregated Data

Avradeep Bhowmik, Joydeep Ghosh+1 more|arXiv (Cornell University)|May 14, 2016

Bayesian Methods and Mixture Models参考文献 18被引用 5

一句话总结

本文提出了一种新颖的广义线性模型框架，用于处理聚合数据，其中个体层面的预测变量可用，但响应变量仅通过直方图或顺序统计量可知。通过在填补和标准GLM拟合之间交替进行，该方法能够恢复准确的个体层面推断和模型参数，且随着直方图粒度增加，性能提升趋于平缓——即使在粗粒度分箱下，当原始数据中存在线性关系时，仍表现出强大的预测准确性。

ABSTRACT

Databases in domains such as healthcare are routinely released to the public in aggregated form. Unfortunately, naive modeling with aggregated data may significantly diminish the accuracy of inferences at the individual level. This paper addresses the scenario where features are provided at the individual level, but the target variables are only available as histogram aggregates or order statistics. We consider a limiting case of generalized linear modeling when the target variables are only known up to permutation, and explore how this relates to permutation testing; a standard technique for assessing statistical dependency. Based on this relationship, we propose a simple algorithm to estimate the model parameters and individual level inferences via alternating imputation and standard generalized linear model fitting. Our results suggest the effectiveness of the proposed approach when, in the original data, permutation testing accurately ascertains the veracity of the linear relationship. The framework is extended to general histogram data with larger bins - with order statistics such as the median as a limiting case. Our experimental results on simulated data and aggregated healthcare data suggest a diminishing returns property with respect to the granularity of the histogram - when a linear relationship holds in the original data, the targets can be predicted accurately given relatively coarse histograms.

研究动机与目标

• 解决在仅有聚合响应数据（如直方图或顺序统计量）可用，但具备个体层面预测变量时，实现准确个体层面推断的挑战。
• 缓解敏感领域（如医疗保健）中因生态谬误和隐私导致的数据失真问题。
• 开发一种实用的迭代算法，从有限的响应汇总信息中恢复模型参数和个体层面预测。
• 评估该方法在不同直方图粒度水平下的性能，并与完全观测数据的基准进行比较。

提出的方法

• 将问题表述为一个优化任务，通过在填补未观测到的个体层面响应和对填补数据拟合标准广义线性模型（GLM）之间交替进行。
• 将置换不变性作为极限情况：当响应值仅以置换形式已知时，该方法利用填补与置换检验之间的关系来指导恢复过程。
• 将框架扩展至更大分箱的一般直方图数据，将中位数等顺序统计量视为极限情况。
• 通过迭代优化实现交替填补和GLM拟合，使用L2范数最小化使填补的响应与观测到的直方图约束对齐。
• 使用五折交叉验证评估训练和测试性能，并与在完全观测数据上训练的最优GLM进行比较。
• 对偏态目标变量（如医院费用）应用对数变换，并根据数据分布选择适当的GLM族（高斯分布、泊松分布）。

实验结果

研究问题

• RQ1 当具备个体层面预测变量时，能否从聚合响应数据中恢复出准确的个体层面推断？
• RQ2 随着直方图粒度的增加，所提出方法的性能如何变化？是否表现出收益递减特性？
• RQ3 当响应值仅以置换形式已知时，该方法在多大程度上能恢复模型参数和个体预测？
• RQ4 在具有复杂、偏态响应分布的真实世界医疗保健数据集中，该方法的有效性如何？
• RQ5 当用作完整数据发布的隐私保护替代方案时，该框架是否能保持统计有效性与预测准确性？

主要发现

• 所提出的方法实现了接近完全观测GLM的预测性能，尤其在直方图粒度增加时表现更优，证明了其在恢复个体层面推断方面的强大能力。
• 观察到收益递减特性：从更细粒度直方图中获得的性能增益迅速减少，当原始数据中存在线性关系时，较粗粒度的直方图已能提供高精度。
• 在模拟数据中，当置换检验能准确识别出真实线性关系时，该方法表现良好，验证了其理论基础的合理性。
• 在DE-SynPUF数据集中，该方法的性能紧密跟踪最优高斯估计器，恢复的直方图与真实分布高度吻合。
• 在德克萨斯住院患者出院数据集中，该方法的泊松回归性能随直方图细化而提升，并收敛至完全观测估计器的性能水平。
• 结果警示：不应过度依赖数据聚合来实现隐私保护，因为在某些条件下，仍可能实现准确推断。