[论文解读] Adaptive Sequence Submodularity

Marko Mitrovic, Ehsan Kazemi+3 more|arXiv (Cornell University)|Feb 15, 2019

Algorithms and Data Compression参考文献 55被引用 5

一句话总结

本文提出自适应序列子模性（adaptive sequence submodularity），一种将子模优化与自适应、序列化决策制定在不确定性下相结合的框架。该框架提出了一种具有理论保证的自适应贪心策略，并在基于神经网络模型的亚马逊产品推荐和维基百科链接预测任务中展示了性能提升。

ABSTRACT

In many machine learning applications, one needs to interactively select a sequence of items (e.g., recommending movies based on a user's feedback) or make sequential decisions in a certain order (e.g., guiding an agent through a series of states). Not only do sequences already pose a dauntingly large search space, but we must also take into account past observations, as well as the uncertainty of future outcomes. Without further structure, finding an optimal sequence is notoriously challenging, if not completely intractable. In this paper, we view the problem of adaptive and sequential decision making through the lens of submodularity and propose an adaptive greedy policy with strong theoretical guarantees. Additionally, to demonstrate the practical utility of our results, we run experiments on Amazon product recommendation and Wikipedia link prediction tasks.

研究动机与目标

• 解决在不确定性下优化序列决策的挑战，其中项目顺序和自适应反馈均至关重要。
• 将子模性理论扩展至具有自适应性的序列，实现在推荐系统等复杂现实场景中的可处理优化。
• 构建一个统一框架，用于建模带反馈的序列选择，捕捉顺序依赖关系和动态状态更新。
• 为自适应贪心策略在序列子模性背景下的近似比提供理论保证。
• 通过在真实世界推荐和链接预测任务中的实验，证明其实际应用价值。

提出的方法

• 提出自适应序列子模性的新形式化方法，将序列决策建模为基于反馈自适应揭示项目状态的过程。
• 定义一个依赖于项目序列及其隐藏状态的效用函数，且在序列上具有递减收益特性。
• 引入一种自适应贪心策略，按顺序选择项目，并根据反馈更新对未观测状态的信念。
• 使用神经网络架构（前馈网络或LSTM）建模效用函数，输入为观测到的项目状态向量，输出为下一个项目的概率分布。
• 实现一个自适应推荐循环：推荐概率最高的未访问项目，根据反馈（购买/访问）更新输入状态，并重复k次推荐。
• 使用分类交叉熵损失进行模型训练，配合早停法和批量归一化，采用80/20的训练/验证集划分，并在低数据场景下调整批量大小。

实验结果

研究问题

• RQ1 子模性能否被扩展以建模具有自适应性的序列决策，同时捕捉顺序依赖关系和动态反馈？
• RQ2 针对序列子模函数的自适应贪心策略是否在近似比方面提供强大的理论保证？
• RQ3 在真实世界推荐任务中，自适应序列子模性相较于非自适应或基于集合的子模模型表现如何？
• RQ4 在反馈有限的情况下，基于神经网络的模型能否有效学习自适应序列子模设置下的效用函数？
• RQ5 在产品推荐和链接预测任务中，序列建模与集合建模对性能的影响有何差异？

主要发现

• 所提出的自适应贪心策略在自适应序列子模性框架下实现了强大的理论近似保证。
• 在亚马逊产品推荐和维基百科链接预测任务中，基于自适应序列子模性框架训练的神经网络模型均优于非自适应基线模型。
• 自适应版本的模型通过利用反馈持续优化未来预测，始终优于非自适应推荐。
• 在维基百科链接预测任务中，自适应方法因能够维持推荐过程中的有效路径约束，优于非自适应模型。
• LSTM模型在序列建模中表现优于前馈网络，尤其在捕捉用户导航序列中的长期依赖关系方面。
• 该框架在低数据场景下依然有效，即使仅使用1%的训练数据，性能仍能保持，得益于早停法和批量大小的自适应调整。