[논문 리뷰] Hierarchical Reinforcement Learning as a Model of Human Task Interleaving

Christoph Gebhardt, Antti Oulasvirta외 1명|arXiv (Cornell University)|2020. 01. 04.

Neural and Behavioral Psychology Studies참고 문헌 29인용 수 6

한 줄 요약

이 논문은 인간의 작업 혼합을 설명하는 계산 모델로 계층적 강화 학습(HRL)을 제안한다. 여기서 고위 수준의 감독자는 작업별 하위 수준 강화 학습 에이전트가 제공하는 가치 추정치를 바탕으로 언제, 어떤 작업으로 전환할지를 결정한다. 이 모델은 지연된 보상과 전환 비용이 존재하는 복잡한 환경에서 적응적이고 목표 중심의 전환을 잘 반영하여, 개인의 작업 순서 시퀀스와 상태 방문 패턴을 예측하는 데 있어 이른바 '편의성 기반' 기준 모델보다 뛰어난 성능을 보였다.

ABSTRACT

How do people decide how long to continue in a task, when to switch, and to which other task? Understanding the mechanisms that underpin task interleaving is a long-standing goal in the cognitive sciences. Prior work suggests greedy heuristics and a policy maximizing the marginal rate of return. However, it is unclear how such a strategy would allow for adaptation to everyday environments that offer multiple tasks with complex switch costs and delayed rewards. Here we develop a hierarchical model of supervisory control driven by reinforcement learning (RL). The supervisory level learns to switch using task-specific approximate utility estimates, which are computed on the lower level. A hierarchically optimal value function decomposition can be learned from experience, even in conditions with multiple tasks and arbitrary and uncertain reward and cost structures. The model reproduces known empirical effects of task interleaving. It yields better predictions of individual-level data than a myopic baseline in a six-task problem (N=211). The results support hierarchical RL as a plausible model of task interleaving.

연구 동기 및 목표

• 지연된 보상, 전환 비용, 복잡한 작업 구조를 고려한 인간의 작업 혼합을 계산적으로 구현 가능한 모델을 개발하는 것.
• 계층적 강화 학습(HRL)이 이른바 '탐욕적' 또는 '편의성 기반' 전략을 초월하여 다중 작업 환경에서의 적응적 감독 제어를 설명할 수 있는지 조사하는 것.
• 6개 작업의 혼합 작업 환경에서 HRL이 개인 수준의 작업 순서 및 상태 방문 패턴을 예측하는 데 있어 편의성 기반 기준 모델보다 더 나은 성능을 보이는지 평가하는 것.
• 계층적 가치 분해가 새로운 작업 인스턴스에 대한 일반화 및 불확실성에 대한 강건성을 가능하게 하는지 검토하는 것.

제안 방법

• 두 수준의 HRL 아키텍처를 사용한다: 하위 수준의 강화 학습 에이전트는 작업 유형(예: 글쓰기, 브라우징 등) 별로 가치 함수를 유지하며, 상위 수준의 에이전트는 하위 수준에서 제공하는 유틸리티 추정치를 바탕으로 어느 작업 인스턴스에 집중할지를 선택한다.
• 상위 수준의 에이전트는 변동하는 지속 시간을 가진 하위 작업에 대해 시간적 추상화를 사용하여 결정을 내리며, 이는 평탄한 강화 학습에 비해 계산 복잡도를 감소시킨다.
• 가치 함수는 경험을 기반으로 한 시간차분 학습을 통해 갱신되며, 이로써 모델은 불확실하고 지연된 보상 환경에서도 최적의 전환 정책을 학습할 수 있다.
• 전환 비용은 작업 기억 복구 노력의 함수로 모델링되며, 모델은 즉각적 보상과 향후 보상의 균형을 맞추기 위해 할인 요소를 사용한다.
• 모델 파라미터(할인 요소, 전환 비용, 작업별 보상)는 각 참가자별로 훈련 및 테스트 시험에 대해 기울기 기반 최적화 절차를 사용하여 피팅된다.
• 성능 평가는 참가자 간 작업 순서 오차, 상태 방문 히스토그램 교차율, 재생된 행동 비율을 사용하여 평가된다.

실험 결과

연구 질문

• RQ1 계층적 강화 학습(HRL)이 편의성 기반의 탐욕적 전략보다 인간의 작업 혼합을 더 정확하게 설명할 수 있는가?
• RQ2 HRL은 인간 참가자들이 관찰한 작업 순서 선택 및 상태 방문 빈도 패턴을 얼마나 잘 재현할 수 있는가?
• RQ3 HRL의 계층적 가치 분해가 다중 작업 환경에서 불확실성과 지연된 보상 하에서 효과적인 계획 수립을 가능하게 하는가?
• RQ4 HRL은 경험하지 않은 새로운 작업 인스턴스에 대해 작업 유형 지식을 얼마나 잘 일반화할 수 있는가?

주요 결과

• HRL은 작업 순서 시퀀스 예측에서 무작위 기준 모델보다 유의미하게 뛰어난 성능을 보였으며, 중앙값 작업 순서 오차는 26.21로 HRL에서, 무작위 모델은 177.90이었고(p < 0.001).
• HRL은 인간 참가자들의 상태 방문 패턴과 히스토그램 교차율이 0.93이었으며, 이는 편의성 기반 모델(0.88)과 무작위 모델(0.81)을 모두 능가했다.
• 모델이 예측한 전환 패턴은 인간 행동과 유사하게 하위 작업 경계에서 단계적 방문 패턴을 재현했으며, 이는 인간의 하위 작업 분할과의 일치를 시사한다.
• 파라미터 피팅 결과, 학습된 모델 파라미터는 보류된 테스트 시험에 잘 일반화되었으며, 훈련 데이터에서 재생된 행동 비율은 반복 1회차의 0.64에서 반복 60회차의 0.73으로 증가했다.
• 일부 파라미터 신뢰성 문제(예: 할인 요소의 표준편차 0.23)가 있었지만, 모델의 총합 적합도는 뛰어났으며, HRL과 무작위 모델 간 유의미한 차이가 있었다(p < 0.001).