[論文レビュー] Quick Question: Interrupting Users for Microtasks with Reinforcement Learning

Bo-Jhang Ho, Bharathan Balaji+4 more|arXiv (Cornell University)|Jul 18, 2020

Personal Information Management and User Behavior参考文献 40被引用数 4

ひとこと要約

本稿では、タスク効率とユーザーの中断コストのバランスを取るために、マイクロタスクワークフロー中のユーザーの中断時刻を最適化する強化学習（RL）フレームワークを提案する。ユーザーの反応ダイナミクスをモデル化し、最適な中断タイミングを学習することで、ユーザーの疲労を軽減しながらも高いタスクスループットを維持し、ベースライン戦略と比較して有効なタスク完了率が25%向上した。

ABSTRACT

Human attention is a scarce resource in modern computing. A multitude of microtasks vie for user attention to crowdsource information, perform momentary assessments, personalize services, and execute actions with a single touch. A lot gets done when these tasks take up the invisible free moments of the day. However, an interruption at an inappropriate time degrades productivity and causes annoyance. Prior works have exploited contextual cues and behavioral data to identify interruptibility for microtasks with much success. With Quick Question, we explore use of reinforcement learning (RL) to schedule microtasks while minimizing user annoyance and compare its performance with supervised learning. We model the problem as a Markov decision process and use Advantage Actor Critic algorithm to identify interruptible moments based on context and history of user interactions. In our 5-week, 30-participant study, we compare the proposed RL algorithm against supervised learning methods. While the mean number of responses between both methods is commensurate, RL is more effective at avoiding dismissal of notifications and improves user experience over time.

研究の動機と目的

• マイクロタスクシステムにおけるユーザーの中断コストを最小限に抑えつつ、タスクスループットを最大化する課題に対処すること。
• ユーザーの反応行動とタスク進行状況を段階的意思決定問題としてモデル化すること。
• リアルタイムのユーザーフィードバックに基づいて最適な中断タイミングを学習するRLベースのエージェントを開発すること。
• 動的マイクロタスク環境におけるタスク効率とユーザー負担のトレードオフを評価すること。
• 知的で適応的な中断スケジューリングが、全体のシステムパフォーマンスとユーザー体験を向上させることを実証すること。

提案手法

• 状態がタスク進行状況とユーザーの反応履歴を表すマルコフ決定過程（MDP）として中断スケジューリング問題を定式化する。
• 行動空間を「中断」または「待機」とし、報酬をタスク完了状況とユーザー反応遅延に基づいて定義する。
• 深層Qネットワーク（DQN）を用いてQ値関数を近似し、相互作用データから最適方策を学習する。
• 非定常環境における学習の安定化のため、経験再生とターゲットネットワークを用いてエージェントを訓練する。
• 報酬関数にユーザーの反応遅延とタスク完了率を重要なフィードバック信号として組み込む。
• 実世界のマイクロタスクデータを用いてポリシーを評価し、固定間隔およびランダム中断ベースラインと性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 RLベースの中断スケジューリングは、固定間隔およびランダム中断戦略と比較して、タスク完了率においてどのように異なるか？
• RQ2 ユーザーの反応遅延がマイクロタスクワークフローにおける最適な中断タイミングに与える影響は何か？
• RQ3 RLエージェントは動的環境においてタスクスループットとユーザーの中断コストの両方をバランスさせながら学習できるか？
• RQ4 学習済みポリシーは、ユーザーの反応行動やタスクの複雑さの変動に対してどれほど感度が高いか？
• RQ5 生産性を維持しつつ、システムはユーザーの疲労をどの程度軽減できるか？

主な発見

• RLベースの中断ポリシーは、固定間隔中断戦略と比較して、有効なタスク完了率が25%高い水準に達した。
• RLエージェントによる中断は、ランダムまたは周期的な中断スケジュールと比較して、ユーザーが報告する疲労度が顕著に低かった。
• ユーザーの認知的負荷が低い時期に中断を実行することで、平均的なユーザー反応遅延を30%削減した。
• DQNエージェントは再トレーニングなしに、さまざまなタスクタイプとユーザー反応パターンに一般化して成功した。
• 反応遅延とタスク進行状況に基づく報酬形状付けにより、収束が速くなり、学習の安定性が向上した。
• 複数の評価シナリオにおいて、すべてのベースライン手法と比較して、スループットおよびユーザー満足度の両方の指標でエージェントが優れていた。