[论文解读] Stochastic EM for Shuffled Linear Regression

Abubakar Abid, James Zou|arXiv (Cornell University)|Apr 2, 2018

Statistical Methods and Inference参考文献 15被引用 13

一句话总结

该论文提出了一种用于乱序线性回归的随机期望最大化（EM）框架，将未知的标签排列视为隐变量以改善参数估计。通过在多个样本上近似排列的期望，该方法在部分乱序数据及波士顿房价等真实世界数据集上，相比标准的硬EM方法，实现了更低的参数误差和更高的鲁棒性。

ABSTRACT

We consider the problem of inference in a linear regression model in which the relative ordering of the input features and output labels is not known. Such datasets naturally arise from experiments in which the samples are shuffled or permuted during the protocol. In this work, we propose a framework that treats the unknown permutation as a latent variable. We maximize the likelihood of observations using a stochastic expectation-maximization (EM) approach. We compare this to the dominant approach in the literature, which corresponds to hard EM in our framework. We show on synthetic data that the stochastic EM algorithm we develop has several advantages, including lower parameter error, less sensitivity to the choice of initialization, and significantly better performance on datasets that are only partially shuffled. We conclude by performing two experiments on real datasets that have been partially shuffled, in which we show that the stochastic EM algorithm can recover the weights with modest error.

研究动机与目标

• 解决输入特征与输出标签均被乱序时的标准监督学习失效的问题。
• 构建一个原则性的统计框架，将未知排列建模为回归过程中的隐变量。
• 通过使用随机近似方法在排列估计中引入不确定性，改进主导的硬EM方法。
• 在合成数据集和真实世界数据集上展示优越性能，尤其在降低对初始化敏感性方面。
• 为特征与标签之间对应关系不完整的情况提供一种可扩展且鲁棒的交替优化替代方案。

提出的方法

• 将乱序回归问题建模为隐变量模型，其中排列矩阵 Π₀ 未被观测，被视作随机变量。
• 应用随机EM：在E步中，使用当前权重估计的似然加权，近似排列的后验分布；在M步中，利用X的伪逆更新权重向量w。
• 使用蒙特卡洛采样在多次迭代中近似排列矩阵的期望，避免计算全部 n! 种排列。
• 将观测数据的对数似然表示为w和Π的函数，并通过迭代的期望与最大化步骤进行最大化。
• 引入生成模型 y = Π₀Xw₀ + e，其中 e ~ N(0, σ²)，并将 Π₀ 视为未观测变量，以支持概率推理。
• 将所提出的随机EM方法与标准硬EM进行比较，后者在每一步仅选择最可能的排列，导致对初始化更敏感。

实验结果

研究问题

• RQ1 与标准交替优化相比，随机EM框架是否能改善乱序线性回归中的参数估计？
• RQ2 在部分乱序数据集上，随机EM方法表现如何，其中部分排序信息得以保留？
• RQ3 与硬EM方法相比，随机EM算法在多大程度上降低了对初始化的敏感性？
• RQ4 在标签被匿名化或乱序的真实世界数据集上，所提出方法能否恢复准确的回归权重？
• RQ5 在存在噪声的情况下，现有方法因非凸性与过拟合而存在哪些局限性？

主要发现

• 在全乱序或部分乱序的合成数据集上，随机EM算法相比硬EM实现了显著更低的参数误差。
• 随机EM表现出明显的初始化不敏感性，在多次随机初始化下均保持一致的性能。
• 在标签按中位数房价分为10组的波士顿房价数据集中，随机EM实现了0.032的测试均方误差，优于硬EM。
• 由于优化景观的非凸性，硬EM算法经常收敛到较差的局部极小值，尤其在n和d较大时。
• 即使进行大量重启，硬EM在较大数据集上仍无法达到随机EM的性能，凸显其可扩展性问题。
• 使用多个独立乱序的数据子集可减少过拟合并提升泛化能力，表明这是一种适用于真实世界应用的实用策略。