[論文レビュー] Hierarchical Reinforcement Learning as a Model of Human Task Interleaving

Christoph Gebhardt, Antti Oulasvirta+1 more|arXiv (Cornell University)|Jan 4, 2020

Neural and Behavioral Psychology Studies参考文献 29被引用数 6

ひとこと要約

本論文は、人間のタスクの入れ替え行動を計算的モデルとして提示するため、階層的強化学習（HRL）を提案している。上位の監視レベルは、タスク固有の下位レベルの強化学習エージェントが提供する価値推定値を用いて、いつ、どのタスクに切り替えるかを決定する。このモデルは、遅延報酬と切り替えコストを伴う複雑な状況下でも、適応的で目的志向的な切り替えを捉えられることを示しており、個々のタスク順序のシーケンスや状態訪問パターンを予測する際、短視眼的ベースラインよりも優れた性能を発揮した。

ABSTRACT

How do people decide how long to continue in a task, when to switch, and to which other task? Understanding the mechanisms that underpin task interleaving is a long-standing goal in the cognitive sciences. Prior work suggests greedy heuristics and a policy maximizing the marginal rate of return. However, it is unclear how such a strategy would allow for adaptation to everyday environments that offer multiple tasks with complex switch costs and delayed rewards. Here we develop a hierarchical model of supervisory control driven by reinforcement learning (RL). The supervisory level learns to switch using task-specific approximate utility estimates, which are computed on the lower level. A hierarchically optimal value function decomposition can be learned from experience, even in conditions with multiple tasks and arbitrary and uncertain reward and cost structures. The model reproduces known empirical effects of task interleaving. It yields better predictions of individual-level data than a myopic baseline in a six-task problem (N=211). The results support hierarchical RL as a plausible model of task interleaving.

研究の動機と目的

• 遅延報酬、切り替えコスト、複雑なタスク構造を考慮した、計算的に実行可能な人間のタスク入れ替えのモデルを開発すること。
• 階層的強化学習（HRL）が、貪欲または短視眼的戦略を越えて、マルチタスクにおける適応的監視制御を説明できるかどうかを調査すること。
• 6タスクの入れ替えタスクにおいて、HRLが短視眼的ベースラインよりも、個別レベルのタスク順序および状態訪問パターンをよりよく予測できるかどうかを評価すること。
• 階層的価値分解が、未経験のタスク例への一般化および不確実性へのロバストネスを可能にする役割を検討すること。

提案手法

• 2段階のHRLアーキテクチャを用いる：下位レベルの強化学習エージェントは、タスクタイプ（例：執筆、ブラウジング）ごとに価値関数を維持し、上位レベルのエージェントは下位レベルからの効用推定値に基づいて、どのタスクインスタンスに注目するかを決定する。
• 上位レベルのエージェントは、変動する期間を持つサブタスクに対して時間的抽象化を用いて意思決定を行うことで、フラットな強化学習と比較して計算複雑性を低減する。
• 価値関数は経験に基づく時系列差分学習により更新され、不確実で遅延する報酬がある中でも、最適な切り替え方針を学習可能となる。
• 切り替えコストはタスクの想起に要する努力の関数としてモデル化され、即時の報酬と将来の報酬のバランスを取るために割引率が使用される。
• モデルのパラメータ（割引率、切り替えコスト、タスク固有報酬）は、各参加者ごとにトレーニングおよびテスト試行の勾配ベース最適化手順を用いてフィッティングされる。
• 性能は、タスク順序誤差、状態訪問ヒストグラムの交差、参加者間での再現行動の割合を用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 階層的強化学習（HRL）は、短視眼的で貪欲な戦略と比較して、人間のタスク入れ替え行動をより正確に説明できるか？
• RQ2 HRLは、人間被験者で観察されたタスク順序選択および状態訪問頻度の実証的パターンをどれほどよく再現できるか？
• RQ3 HRLの階層的価値分解は、マルチタスク環境における不確実性と遅延報酬下での有効な計画を可能にするか？
• RQ4 HRLは、以前に経験したことのない新しいタスクインスタンスに、どの程度タスクタイプの知識を一般化できるか？

主な発見

• HRLは、タスク順序シーケンスの予測において、ランダムベースラインを著しく上回り、中央値のタスク順序誤差が26.21（ランダムモデルでは177.90）であった（p < 0.001）。
• HRLは、人間被験者の状態訪問パターンと0.93のヒストグラム交差を達成し、短視眼的モデル（0.88）およびランダムモデル（0.81）を上回った。
• モデルが予測した切り替えパターンは人間の行動とよく一致しており、サブタスク境界で段階的な訪問パターンを再現しており、人間のサブタスク分割と整合的であることが示された。
• パラメータフィッティングの結果、学習済みのモデルパラメータはホールドアウトテスト試行にうまく一般化され、トレーニングデータにおける再現行動の割合は、反復1回目（0.64）から反復60回目（0.73）に上昇した。
• 一部のパラメータの信頼性の問題（例：割引率の標準偏差0.23）はあったが、全体としてモデルのフィットは強く、HRLとランダムモデルとの間に有意差が認められた（p < 0.001）。