[论文解读] Uncoupled Regression from Pairwise Comparison Data

Liyuan Xu, Junya Honda+2 more|arXiv (Cornell University)|Jan 1, 2019

Domain Adaptation and Few-Shot Learning被引用 3

一句话总结

本文提出了一种新颖的非耦合回归框架，利用成对比较数据（即仅知道未标记样本之间的相对目标值）来训练回归模型，而无需对真实目标函数施加强假设。该方法在目标分布均匀时达到最优参数收敛速率，并且在标签被匿名化的情况下，其在线性模型上的表现与监督学习相当。

ABSTRACT

Uncoupled regression is the problem to learn a model from unlabeled data and the set of target values while the correspondence between them is unknown. Such a situation arises in predicting anonymized targets that involve sensitive information, e.g., one's annual income. Since existing methods for uncoupled regression often require strong assumptions on the true target function, and thus, their range of applications is limited, we introduce a novel framework that does not require such assumptions in this paper. Our key idea is to utilize \emph{pairwise comparison data, which consists of pairs of unlabeled data that we know which one has a larger target value. Such pairwise comparison data is easy to collect, as typically discussed in the learning-to-rank scenario, and does not break the anonymity of data. We propose two practical methods for uncoupled regression from pairwise comparison data and show that the learned regression model converges to the optimal model with the optimal parametric convergence rate when the target variable distributes uniformly. Moreover, we empirically show that for linear models the proposed methods are comparable to ordinary supervised regression with labeled data.

研究动机与目标

• 解决现有非耦合回归方法依赖于目标函数强假设的局限性。
• 在仅能获取匿名化数据和相对比较（例如，哪个样本的目标值更高）的情况下，实现回归学习。
• 开发一种实用框架，利用成对比较数据恢复准确的回归模型，且无需输入与目标之间的对应关系。
• 在较弱的分布假设下（特别是目标分布为均匀分布时）建立理论收敛保证。
• 通过实证验证，所提方法在线性模型设置下与标准监督回归方法性能相当。

提出的方法

• 该框架使用成对比较数据，其中每个样本是一对未标记样本，以及一个指示哪个样本目标值更高的标签。
• 将学习问题表述为基于排序的优化，从相对偏好中推断潜在的回归函数。
• 提出了两种实用算法：一种基于在成对比较上最小化代理损失，另一种采用带隐变量建模的结构化预测方法。
• 理论分析表明，当目标变量服从均匀分布时，模型收敛至最优解的速率达到最优参数速率。
• 该方法避免了输入与目标之间的显式对应关系，从而在保持学习效率的同时保护了数据匿名性。
• 该方法设计为对分布假设具有鲁棒性，并可扩展至仅提供相对反馈的大规模数据集。

实验结果

研究问题

• RQ1 是否可以仅使用成对比较数据，在不假设目标函数特定形式的前提下，有效执行非耦合回归？
• RQ2 在目标变量服从均匀分布的假设下，基于成对比较训练的回归模型可建立何种理论收敛保证？
• RQ3 当标签完全可用时，所提方法的性能与标准监督回归相比如何？
• RQ4 该方法是否能在无需标注目标值的情况下，良好泛化至线性模型？
• RQ5 数据分布，特别是目标变量的均匀性，对所学模型收敛速率有何影响？

主要发现

• 当目标变量服从均匀分布时，所提方法在回归模型上实现了最优参数收敛速率。
• 对于线性模型，所提方法的性能在实验中与使用完全标注数据训练的普通最小二乘回归相当。
• 该框架能有效学习回归函数，且无需输入与目标之间的对应关系，从而保护了数据隐私。
• 在较弱假设下，成对比较数据足以恢复准确的回归模型，显著拓宽了非耦合回归的应用范围。
• 该方法表现出强大的泛化能力和鲁棒性，即使真实目标函数未知或复杂亦然。
• 理论分析证实，在给定假设下，模型以最快可能的速率收敛至最优解。