[论文解读] Estimation in exponential family Regression based on linked data contaminated by mismatch error

Zhenbang Wang, Emanuel Ben‐David+1 more|arXiv (Cornell University)|Oct 1, 2020

Statistical Methods and Inference参考文献 57被引用 5

一句话总结

本论文提出了一种针对由错配错误污染的链接数据的指数族回归中 $β$-估计方法，通过使用观测特定的偏移量和 $β$-惩罚项来校正由排列引起的错误。该方法在合成数据和真实数据上均显著优于 Lahiri-Larsen 和 Chambers 方法，理论保证了在温和条件下可恢复真实参数，且在有限链接信息下也表现出有效减少错配错误的实证成功。

ABSTRACT

Identification of matching records in multiple files can be a challenging and error-prone task. Linkage error can considerably affect subsequent statistical analysis based on the resulting linked file. Several recent papers have studied post-linkage linear regression analysis with the response variable in one file and the covariates in a second file from the perspective of the "Broken Sample Problem" and "Permuted Data". In this paper, we present an extension of this line of research to exponential family response given the assumption of a small to moderate number of mismatches. A method based on observation-specific offsets to account for potential mismatches and $\ell_1$-penalization is proposed, and its statistical properties are discussed. We also present sufficient conditions for the recovery of the correct correspondence between covariates and responses if the regression parameter is known. The proposed approach is compared to established baselines, namely the methods by Lahiri-Larsen and Chambers, both theoretically and empirically based on synthetic and real data. The results indicate that substantial improvements over those methods can be achieved even if only limited information about the linkage process is available.

研究动机与目标

• 解决链接数据中的错配错误对广义线性模型估计的影响，特别是当响应变量与协变量文件使用不完善的匹配变量合并时。
• 将“破损样本问题”框架从线性回归扩展至指数族回归，实现在响应变量未知排列下的稳健推断。
• 开发一种计算上可行的方法，无需依赖详细的链接过程信息，使其适用于第三方链接数据。
• 研究在回归参数已知时，真实预测变量与响应变量对应关系可被恢复的条件。
• 与既有的基准方法（如 Lahiri-Larsen 和 Chambers 方法）在理论和实证上进行比较。

提出的方法

• 该方法将错配建模为响应向量的未知排列，将排列视为干扰参数。
• 引入观测特定的惩罚项以考虑潜在错配，使用结合了似然函数和对回归系数的 $β$-惩罚项的修改损失函数。
• 通过两步法求解优化问题：首先使用惩罚似然估计 $β$，然后通过最小化线性预测值与排列后响应之间的内积来恢复排列。
• 排列恢复在具有相同匹配变量（如年龄、性别、邮政编码）的组内分块进行，以减少搜索空间并提高计算可行性。
• 该方法采用约束优化框架，其中排列被限制为基于共享准标识符定义的组内分块排列。
• 理论分析建立了在已知 $β$ 条件下，对真实排列实现精确或近似恢复的充分条件。

实验结果

研究问题

• RQ1 当链接信息有限或不可用时，$β$-惩罚估计是否能有效校正指数族回归中的错配错误？
• RQ2 在回归参数已知时，响应与预测变量对之间的真实排列在何种条件下可被恢复？
• RQ3 与 Lahiri-Larsen 和 Chambers 等既有的方法相比，所提方法在估计准确度和对错配污染的鲁棒性方面表现如何？
• RQ4 在无法实现精确恢复的情况下，近似排列恢复在实践中能在多大程度上减少错配错误？
• RQ5 该方法能否通过观测特定的惩罚项扩展至处理异方差响应（如泊松回归或伽马回归）？

主要发现

• 所提方法显著降低了错配错误，相比 Lahiri-Larsen 和 Chambers 方法，表现为拟合值与无错配数据集中的值对齐程度更高。
• 即使仅有少量错配，该方法在链接不确定性较高时也显著提升了估计准确度。
• 在案例研究中，经校正的响应向量 $\widehat{\Pi}\mathbf{y}$ 与真实响应 $\mathbf{y}^{*}$ 的一致性远高于原始合并响应 $\mathbf{y}$，这一结果通过绝对误差的 Q-Q 图得到验证。
• 即使无法实现精确恢复，该方法仍能实现近似排列恢复，且 $\widehat{\Pi}\mathbf{y}$ 与 $\mathbf{y}^{*}$ 之间的 $\ell_2$-距离较小。
• 理论结果表明，在温和条件下（如错配数量较少、匹配组间线性预测值充分分离）可实现精确排列恢复。
• 该方法计算上可行，且无需了解链接过程，因此适用于实际应用中的第三方链接数据。