[论文解读] Learning from Delayed Outcomes via Proxies with Applications to Recommender Systems

Timothy Mann, Sven Gowal+5 more|arXiv (Cornell University)|Jul 24, 2018

Recommender Systems and Techniques被引用 5

一句话总结

本文提出一种神经网络框架——残差因子预测器（Residual Factored Forecaster, RFF），利用延迟更短的代理信号（例如，电子书的部分阅读）来改善推荐系统中延迟结果的学习效果。通过将预测分解为代理阶段与结果阶段，RFF 将遗憾度量的缩放从 D×N 降低至 D+N，优于直接预测模型和标准因子化模型，尤其在代理信号信息量不足时表现更优。

ABSTRACT

Predicting delayed outcomes is an important problem in recommender systems (e.g., if customers will finish reading an ebook). We formalize the problem as an adversarial, delayed online learning problem and consider how a proxy for the delayed outcome (e.g., if customers read a third of the book in 24 hours) can help minimize regret, even though the proxy is not available when making a prediction. Motivated by our regret analysis, we propose two neural network architectures: Factored Forecaster (FF) which is ideal if the proxy is informative of the outcome in hindsight, and Residual Factored Forecaster (RFF) that is robust to a non-informative proxy. Experiments on two real-world datasets for predicting human behavior show that RFF outperforms both FF and a direct forecaster that does not make use of the proxy. Our results suggest that exploiting proxies by factorization is a promising way to mitigate the impact of long delays in human-behavior prediction tasks.

研究动机与目标

• 解决在线推荐系统中因反馈延迟（可能持续数周或数月）而导致的学习挑战。
• 将问题形式化为具有中间代理信号的对抗性延迟在线学习设置。
• 设计一种利用代理信号减少遗憾并加速学习、而无需等待最终结果的神经网络架构。
• 评估基于代理的因子化方法是否在代理信号信息量不足时优于直接预测方法。

提出的方法

• 将问题形式化为具有延迟结果和更早代理信号的完整信息在线学习设置，其中代理信号与结果之间存在概率关联。
• 提出一种两阶段因子化预测器（Factored Forecaster, FF），先从输入特征预测代理信号，再从代理信号预测最终结果。
• 引入一种残差因子化预测器（Residual Factored Forecaster, RFF），通过增加残差校正项来缓解因代理-结果关系假设错误而引入的误差。
• 使用神经网络实现 FF 与 RFF，代理头在早期代理信号上进行训练，结果头在延迟结果上进行训练。
• 分析遗憾边界，表明在因子化假设下，基于代理的因子化可将遗憾度量的缩放从 D×N 降低至 D+N。
• 使用非延迟数据训练代理与结果预测模型，结合早停策略与学习率调度。

实验结果

研究问题

• RQ1 利用延迟更短的代理信号是否能显著降低在线学习中延迟结果的遗憾？
• RQ2 当代理信号具有信息量时，基于代理的学习方法与直接预测方法相比表现如何？
• RQ3 当代理信号无法反映最终结果时，残差校正机制是否能提升模型的鲁棒性？
• RQ4 基于代理的学习方法的遗憾度量是否随延迟 D 和样本数量 N 呈有利缩放？

主要发现

• 在两个真实世界数据集（GitHub 提交预测与市场平台参与度预测）上，RFF 均优于直接预测器（DF）与标准因子化预测器（FF）。
• 在分阶段调度（Staggered schedule）下，实例分布快速变化，RFF 与 FF 均优于 DF，表明基于代理的泛化具有优势。
• 在均匀调度（Uniform schedule）下，因子化假设被违反，RFF 表现与 DF 相当，证明其对无信息代理信号具有鲁棒性。
• 因子化方法的遗憾度量缩放为 D+N，而直接方法为 D×N，验证了在因子化假设下的理论优势。
• RFF 的残差塔能有效缓解因代理-结果关系错误而引入的误差，实现代理信号信息量不足时的平稳退化。