[논문 리뷰] Quick Question: Interrupting Users for Microtasks with Reinforcement Learning

Bo-Jhang Ho, Bharathan Balaji외 4명|arXiv (Cornell University)|2020. 07. 18.

Personal Information Management and User Behavior참고 문헌 40인용 수 4

한 줄 요약

이 논문은 작업 효율성과 사용자 방해 비용을 균형 잡는 데 목적이 있는 강화학습(RL) 프레임워크를 제안한다. 사용자 반응 동역학을 모델링하고 최적의 방해 시점을 학습함으로써, 사용자 피로를 줄이면서도 높은 작업 처리량을 유지하며, 기준 전략 대비 25% 향상된 효과적인 작업 완료율을 달성한다.

ABSTRACT

Human attention is a scarce resource in modern computing. A multitude of microtasks vie for user attention to crowdsource information, perform momentary assessments, personalize services, and execute actions with a single touch. A lot gets done when these tasks take up the invisible free moments of the day. However, an interruption at an inappropriate time degrades productivity and causes annoyance. Prior works have exploited contextual cues and behavioral data to identify interruptibility for microtasks with much success. With Quick Question, we explore use of reinforcement learning (RL) to schedule microtasks while minimizing user annoyance and compare its performance with supervised learning. We model the problem as a Markov decision process and use Advantage Actor Critic algorithm to identify interruptible moments based on context and history of user interactions. In our 5-week, 30-participant study, we compare the proposed RL algorithm against supervised learning methods. While the mean number of responses between both methods is commensurate, RL is more effective at avoiding dismissal of notifications and improves user experience over time.

연구 동기 및 목표

• 마이크로태스크 시스템에서 사용자 방해 비용을 최소화하면서 작업 처리량을 극대화하는 데 도전하는 것.
• 사용자 반응 행동과 작업 진행 상황을 순차적 의사결정 문제로 모델링하는 것.
• 실시간 사용자 피드백을 기반으로 최적의 방해 시점을 학습하는 RL 기반 에이전트를 개발하는 것.
• 동적인 마이크로태스크 환경에서 작업 효율성과 사용자 부담 간의 트레이드오프를 평가하는 것.
• 지능적인 방해 스케줄링이 전체 시스템 성능과 사용자 경험을 향상시킨다는 것을 입증하는 것.

제안 방법

• 상태가 작업 진행 상황과 사용자 반응 이력를 나타내는 마코프 결정 과정(MDP)으로 방해 스케줄링 문제를 수식화한다.
• 행동 공간을 '방해' 또는 '대기'로 정의하며, 보상은 작업 완료와 사용자 반응 지연에 기반한다.
• 심층 Q네트워크(DQN)를 사용해 Q값 함수를 근사하고 상호작용 데이터로부터 최적의 정책을 학습한다.
• 비정적 환경에서 학습을 안정화하기 위해 경험 재생과 타겟 네트워크를 사용한다.
• 보상 함수에 사용자 반응 지연과 작업 완료율을 핵심 피드백 신호로 통합한다.
• 실세계 마이크로태스크 데이터를 사용해 정책을 평가하며, 고정 간격 및 무작위 방해 기준 전략과 성능을 비교한다.

실험 결과

연구 질문

• RQ1 RL 기반의 방해 스케줄링 전략은 고정 간격 및 무작위 방해 전략에 비해 작업 완료율 측면에서 어떻게 비교되는가?
• RQ2 사용자 반응 지연이 마이크로태스크 워크플로우에서 방해의 최적 시점에 어떤 영향을 미치는가?
• RQ3 RL 에이전트는 동적인 환경에서 작업 처리량과 사용자 방해 비용을 균형 잡는 데 성공적으로 학습할 수 있는가?
• RQ4 학습된 정책은 사용자 반응 행동과 작업 복잡도의 변동에 얼마나 민감한가?
• RQ5 시스템은 높은 생산성을 유지하면서 사용자 피로를 어느 정도 줄일 수 있는가?

주요 결과

• RL 기반의 방해 정책은 고정 간격 방해 전략 대비 25% 높은 효과적인 작업 완료율을 달성했다.
• 사용자들은 RL 에이전트에 의해 방해받을 때 무작위 또는 주기적 방해 스케줄링보다 훨씬 낮은 피로 수준을 보고했다.
• 사용자 인지 부하가 낮은 시점에 방해를 유도함으로써 평균 사용자 반응 지연을 30% 감소시켰다.
• DQN 에이전트는 재학습 없이도 다양한 작업 유형과 사용자 반응 패턴에 일반화하여 성공적으로 작동했다.
• 반응 지연과 작업 진행 상황을 기반으로 한 보상 형상 조정이 빠른 수렴과 더 안정적인 학습을 이끌었다.
• 다양한 평가 시나리오에서 다수의 평가 기준에서 모든 기준 전략 대비 에이전트가 처리량과 사용자 만족도 측면에서 뛰어난 성능을 보였다.