[论文解读] Linear Regression with Shuffled Labels

Abubakar Abid, Ada S. Y. Poon+1 more|arXiv (Cornell University)|May 3, 2017

Bayesian Methods and Mixture Models被引用 47

一句话总结

本文提出了一种针对标签顺序打乱的线性回归框架——即输入特征与标签不再配对——通过引入一种矩方法估计器，利用特征和标签的自矩来恢复模型权重，而无需知晓排列顺序。关键贡献在于证明了即使在完全无序的标签下，一致估计仍是可能的，特别是在存在多个实验重复的情况下，从而在流式细胞术和去匿名化医疗数据等场景中实现稳健推断。

ABSTRACT

Is it possible to perform linear regression on datasets whose labels are shuffled with respect to the inputs? We explore this question by proposing several estimators that recover the weights of a noisy linear model from labels that are shuffled by an unknown permutation. We show that the analog of the classical least-squares estimator produces inconsistent estimates in this setting, and introduce an estimator based on the self-moments of the input features and labels. We study the regimes in which each estimator excels, and generalize the estimators to the setting where partial ordering information is available in the form of experiments replicated independently. The result is a framework that enables robust inference, as we demonstrate by experiments on both synthetic and standard datasets, where we are able to recover approximate weights using only shuffled labels. Our work demonstrates that linear regression in the absence of complete ordering information is possible and can be of practical interest, particularly in experiments that characterize populations of particles, such as flow cytometry.

研究动机与目标

• 解决在高通量生物和临床实验中，标签相对于输入特征被打乱时进行线性回归的挑战，这是常见问题。
• 研究在缺乏标签排序信息的情况下，是否能够实现线性模型权重的一致估计。
• 开发一种实用算法，能够从打乱的数据中恢复有意义的权重，尤其在存在多个独立重复的情况下。
• 在合成数据、标准数据集和真实世界数据集（包括适配体进化数据）上，展示所提方法的可行性和准确性。
• 探讨估计器在不同数据维度、样本量和重复次数下的统计与算法特性。

提出的方法

• 提出一种矩方法（SM）估计器，利用输入特征和标签的自矩来估计模型权重，而无需依赖排列顺序的知识。
• 构建一个非凸优化目标，通过梯度下降与多起点初始化最小化多个重复实验的损失总和。
• 引入一种混合P1估计器，先将高维特征投影到低维空间，再应用SM估计器，从而在高维情形下提升性能。
• 将算法应用于合成数据和真实数据集，包括受流式细胞术启发的模拟和适配体进化数据，通过相对误差和与真实权重的相关性评估性能。
• 采用多起点梯度下降以缓解损失函数非凸优化景观中的局部极小值问题。
• 利用实验重复来降低推断误差，将每次重复视为来自同一潜在数据生成过程的独立抽样。

实验结果

研究问题

• RQ1 当标签相对于特征被打乱时，是否仍能实现线性回归权重的一致估计，尽管经典最小二乘估计器在此设定下不一致？
• RQ2 在低维情形（如d=1）下，矩方法估计器的统计特性与经典最小二乘估计器相比如何？
• RQ3 在哪些数据配置下（由n、d和R定义），SM估计器优于LS估计器？P1混合估计器在何种情况下表现更优？
• RQ4 同一实验的多个重复在多大程度上能降低打乱线性回归中的推断误差？
• RQ5 在真实应用场景中，该框架能否从高维、打乱的数据中恢复出具有生物学意义的特征（例如与结合亲和力相关的基序）？

主要发现

• 经典最小二乘估计器在打乱数据下不一致，而矩方法（SM）估计器在d=1情况下具有一致性。
• 在d=1和d=2情形下，SM估计器在多个合成数据集和标准数据集中始终实现最低的推断误差。
• 在高维情形下，P1混合估计器（先将特征投影至低维空间，再应用SM）优于单独的LS和SM估计器。
• 仅需2至4次重复，大多数数据集中的权重估计相对误差即降至20%或以下；当R=8时，误差通常低于20%。
• 在power_plant数据集中，相对误差在重复间保持不变，表明数据可能不满足线性模型假设，导致对虚假排列的过拟合。
• 在适配体进化案例研究中，该方法成功恢复了与结合亲和力上升相关的前5大基序中的3个，以及与结合亲和力下降相关的前5大基序中的全部5个，展示了在高维场景下的定性实用性。