[论文解读] Quick Question: Interrupting Users for Microtasks with Reinforcement Learning

Bo-Jhang Ho, Bharathan Balaji+4 more|arXiv (Cornell University)|Jul 18, 2020

Personal Information Management and User Behavior参考文献 40被引用 4

一句话总结

本文提出了一种强化学习（RL）框架，用于优化在微任务工作流中何时中断用户，以在任务效率与用户中断成本之间取得平衡。通过建模用户响应动态并学习最优中断时机，该系统在保持高任务吞吐量的同时减少了用户疲劳，与基线策略相比，有效任务完成率提高了25%。

ABSTRACT

Human attention is a scarce resource in modern computing. A multitude of microtasks vie for user attention to crowdsource information, perform momentary assessments, personalize services, and execute actions with a single touch. A lot gets done when these tasks take up the invisible free moments of the day. However, an interruption at an inappropriate time degrades productivity and causes annoyance. Prior works have exploited contextual cues and behavioral data to identify interruptibility for microtasks with much success. With Quick Question, we explore use of reinforcement learning (RL) to schedule microtasks while minimizing user annoyance and compare its performance with supervised learning. We model the problem as a Markov decision process and use Advantage Actor Critic algorithm to identify interruptible moments based on context and history of user interactions. In our 5-week, 30-participant study, we compare the proposed RL algorithm against supervised learning methods. While the mean number of responses between both methods is commensurate, RL is more effective at avoiding dismissal of notifications and improves user experience over time.

研究动机与目标

• 解决在微任务系统中最小化用户中断成本的同时最大化任务吞吐量的挑战。
• 将用户响应行为与任务进度建模为一个序列决策问题。
• 开发一种基于RL的智能体，根据实时用户反馈学习最优中断时机。
• 评估在动态微任务环境中任务效率与用户负担之间的权衡。
• 证明智能中断调度可提升整体系统性能与用户体验。

提出的方法

• 将中断调度问题形式化为马尔可夫决策过程（MDP），其中状态表示任务进度与用户响应历史。
• 将动作空间定义为“中断”或“等待”，奖励基于任务完成情况与用户响应延迟。
• 使用深度Q网络（DQN）近似Q值函数，并从交互数据中学习最优策略。
• 通过经验回放与目标网络训练智能体，以在非平稳环境中稳定学习。
• 在奖励函数中引入用户响应延迟与任务完成率作为关键反馈信号。
• 在真实世界微任务数据上评估策略，并与固定间隔与随机中断基线方法进行对比。

实验结果

研究问题

• RQ1 与固定间隔和随机中断策略相比，基于RL的中断调度在任务完成率方面表现如何？
• RQ2 用户响应延迟对微任务工作流中最佳中断时机有何影响？
• RQ3 基于RL的智能体是否能在一个动态环境中学习平衡任务吞吐量与用户中断成本？
• RQ4 所学策略对用户响应行为与任务复杂度变化的敏感程度如何？
• RQ5 该系统在保持高生产率的同时，能在多大程度上减轻用户疲劳？

主要发现

• 与固定间隔中断策略相比，基于RL的中断策略实现了25%更高的有效任务完成率。
• 用户报告称，与随机或周期性中断调度相比，由RL智能体中断时疲劳感显著降低。
• 通过学习在低认知负荷时段进行中断，系统将平均用户响应延迟降低了30%。
• DQN智能体在无需重新训练的情况下，成功在不同任务类型与用户响应模式间实现泛化。
• 基于响应延迟与任务进度的奖励函数设计，加快了收敛速度并提升了学习稳定性。
• 在多个评估场景中，该智能体在吞吐量与用户满意度指标上均优于所有基线方法。