[論文レビュー] Value-of-Information based Arbitration between Model-based and Model-free Control

Krishn Bera, Yash Mandilwar+1 more|arXiv (Cornell University)|Dec 8, 2019

Receptor Mechanisms and Signaling被引用数 4

ひとこと要約

本論文は、計算効率と適応性のバランスを取るために、モデルベース強化学習とモデルフリー強化学習の間を動的に切り替える価値情報（VoI）に基づく仲裁メカニズムを提案する。Q値の分散における不確実性をVoIのシグナルとして用いることで、エージェントは不確実性が高い場合にはモデルベースの計画を優先し、自信が高まるにつれて効率的なモデルフリー学習に戻る。この手法は、スキル習得タスクにおいて標準的なQ学習や経験再生を用いたQ学習を上回る性能を示す。

ABSTRACT

There have been numerous attempts in explaining the general learning behaviours using model-based and model-free methods. While the model-based control is flexible yet computationally expensive in planning, the model-free control is quick but inflexible. The model-based control is therefore immune from reward devaluation and contingency degradation. Multiple arbitration schemes have been suggested to achieve the data efficiency and computational efficiency of model-based and model-free control respectively. In this context, we propose a quantitative 'value of information' based arbitration between both the controllers in order to establish a general computational framework for skill learning. The interacting model-based and model-free reinforcement learning processes are arbitrated using an uncertainty-based value of information. We further show that our algorithm performs better than Q-learning as well as Q-learning with experience replay.

研究の動機と目的

• スキル習得の過程において、モデルベース計画の計算コストとモデルフリー学習のサンプル非効率性のトレードオフを解消すること。
• 定量的な費用対効果分析を用いて、生物学的に妥当な動的仲裁メカニズムを、モデルベース制御とモデルフリー制御の間で開発すること。
• スキル熟練度が向上するに従い、目的指向的で柔軟な計画から習慣的で高速な実行へとエージェントが移行できるようにすること。
• 特にフィッツの三段階学習モデルに従う行動的現象を、フレームワークが再現できるかどうかを検証すること。

提案手法

• エージェントは2段階で動作する：『計画』（モデルベース）と『実行』（モデルフリー）、仲裁は価値情報（VoI）指標に基づく。
• VoIは $ VoI(s,a) = C_{(s,a)} / ( au(s) + \rho) $ として計算され、ここで $ C_{(s,a)} $ は状態行動ペア $ (s,a) $ のQ値の分散、$ \tau(s) $ は状態 $ s $ における全行動のQ値の分散である。
• VoIがしきい値を超えると、高い不確実性を示すため、モデルベース計画がトリガーされる。それ以外はモデルフリーQ学習が使用される。
• モデルベース計画は深さ制限付きの価値反復を用い、前方探索を実施する。深さが0に達すると、オフポリシーQ学習に移行する。
• フレームワークは初期学習段階で環境のダイナミクス（遷移確率）を学習し、報酬の価値低下や状況変化に対しても耐性を発揮する。
• 仲裁メカニズムは時間経過とともに進化する：モデルベース制御が初期に優位（200–300エピソード）、その後約400エピソードで徐々にモデルフリー制御に移行する。

実験結果

リサーチクエスチョン

• RQ1 モデルベースとモデルフリー強化学習の間で、計算コストと学習効率のバランスを取る動的仲裁メカニズムをどのように設計できるか？
• RQ2 Q値の分散に基づく価値情報（VoI）指標が、計画的行動と反応的行動の最適な切り替えをどの程度可能にするか？
• RQ3 提案されたフレームワークは、行動研究で観察されたスキル習得の三段階進行（認知的段階、結合的段階、運動的段階）を再現できるか？
• RQ4 ハイブリッドモデルは、サンプル効率性と収束速度の点で、標準的なQ学習や経験再生付きQ学習を上回ることができるか？

主な発見

• VoIに基づく仲裁メカニズムは、約400エピソードの学習経過を経て、モデルベースからモデルフリー制御への移行に成功し、フィッツ理論における目的指向的行動から習慣的行動への移行を模倣している。
• 約400エピソード以降、モデルベース評価は0に低下し、モデルフリー制御が完全に支配的になることが示され、熟練したスキル実行に適した計算効率の高い制御であることが裏付けられた。
• 標準的なQ学習や経験再生付きQ学習よりも優れたパフォーマンスを達成しており、学習効率と収束の向上が確認された。
• フレームワークは初期学習段階で遷移確率（世界モデル）を学習し、報酬の価値低下や状況変化への耐性を発揮する。
• VoI指標は学習の進行に従い増加し、不確実性の低下を反映しており、自信が高くなった段階で高速なモデルフリー実行に切り替えるようにエージェントを誘導している。
• 認知的段階（最初の200–300エピソード）ではモデルベース制御が支配的であり、不確実な環境下でのデータ効率的で適応的な計画を支援している。