[论文解读] Learning Policies for Contextual Submodular Prediction

Stéphane Ross, Jiaji Zhou+3 more|arXiv (Cornell University)|May 11, 2013

Advanced Bandit Algorithms Research参考文献 27被引用 17

一句话总结

本文提出了一种新颖且数据高效的上下文子模预测方法，仅使用一个无遗憾的在线学习器来优化列表预测，并提供可证明的性能保证。通过利用在线子模优化理论，该方法在完全无知设定下实现了近似最优结果——优于以往需要多个学习器或强可实现性假设的方法——同时保持了简洁性，并与标准学习算法兼容。

ABSTRACT

Many prediction domains, such as ad placement, recommendation, trajectory prediction, and document summarization, require predicting a set or list of options. Such lists are often evaluated using submodular reward functions that measure both quality and diversity. We propose a simple, efficient, and provably near-optimal approach to optimizing such prediction problems based on no-regret learning. Our method leverages a surprising result from online submodular optimization: a single no-regret online learner can compete with an optimal sequence of predictions. Compared to previous work, which either learn a sequence of classifiers or rely on stronger assumptions such as realizability, we ensure both data-efficiency as well as performance guarantees in the fully agnostic setting. Experiments validate the efficiency and applicability of the approach on a wide range of problems including manipulator trajectory optimization, news recommendation and document summarization.

研究动机与目标

• 解决在广告投放、机器人技术和文档摘要等现实应用中，基于子模奖励函数预测高质量、多样化列表的挑战。
• 克服以往方法的局限性，这些方法需要为每个列表位置配置多个在线学习器，或依赖强可实现性假设。
• 开发一个统一的、无知的学习框架，即使真实子模函数无法被假设类精确表示，也能保证性能。
• 实现与标准现成机器学习模型的高效集成，同时保持理论鲁棒性。
• 提出一种通用的归约方法，将在线子模优化结果推广到具有特征依赖策略的上下文预测设置。

提出的方法

• 使用单个无遗憾在线学习算法来优化列表预测，避免了以往方法中为每个列表位置分别配置学习器的需求。
• 利用归约技术将上下文子模预测问题映射到在线子模优化问题，通过遗憾最小化实现性能保证。
• 应用加权多数算法并以收益（边际增益）作为奖励，以在子模奖励存在的情况下保持次线性遗憾边界。
• 引入代价敏感分类损失的凸松弛形式，以实现高效优化，同时控制代理损失与真实损失之间的差距。
• 推导出遗憾边界 $ O\left(\sqrt{\frac{k'\ln|\tilde{\Pi}|}{T}}\right) $，其中 $ k' = \min(m,k) $，表明随时间推移性能趋近于近似最优。
• 采用广义加权多数分析方法，奖励值在 $[0, k']$ 范围内，推导出对期望遗憾和列表质量的紧致高概率边界。

实验结果

研究问题

• RQ1 单个无遗憾在线学习器是否能够在不为每个列表位置配置多个学习器的情况下，实现上下文子模预测中的近似最优性能？
• RQ2 在完全无知设定下，性能保证能在多大程度上维持，而不假设真实子模函数位于假设类中？
• RQ3 与依赖可实现性或多个分类器训练的先前方法相比，该方法在数据效率和性能方面表现如何？
• RQ4 该方法的理论遗憾边界是什么？其随项目数量、列表长度和假设类大小的缩放特性如何？
• RQ5 该方法是否能有效应用于文档摘要和机器人轨迹预测等多样化现实问题，且仅需极少的架构修改？

主要发现

• 所提方法的遗憾边界为 $ \mathbb{E}[R]/T = O\left(\sqrt{\frac{k'\ln|\tilde{\Pi}|}{T}}\right) $，其中 $ k' = \min(m,k) $，确保随时间推移性能收敛至近似最优。
• 该方法以高概率保证 $ F(\overline{\pi},m) \geq (1 - \alpha)F(L^{*}_{\pi,k}) - \frac{\tilde{R}}{T} - 2\sqrt{\frac{2\ln(1/\delta)}{T}} - \mathcal{G} $，其中 $ \alpha = \exp(-m/k) $，表明对最优列表有强近似。
• 实验评估表明，该方法在轨迹预测、新闻推荐和抽取式文档摘要任务上，性能与最先进方法相当或更优。
• 与可实现性方法相比，该方法在数据效率上显著更优，因为它避免了为每个列表位置单独学习分类器。
• 即使真实子模函数无法被假设类精确表示，该方法仍能保持强大的理论保证，支持无知学习。
• 凸松弛间隙 $ \mathcal{G} $ 被有界，确保优化过程中使用的代理损失与真实代价敏感损失保持接近，从而维持性能。