[論文レビュー] A Story of Two Streams: Reinforcement Learning Models from Human Behavior and Neuropsychiatry

Baihan Lin, Guillermo Cecchi+3 more|arXiv (Cornell University)|Jun 21, 2019

Neural and Behavioral Psychology Studies参考文献 36被引用数 13

ひとこと要約

本稿では、神経精神的報酬処理バイアスにインspiredされた二重ストリーム強化学習モデル、Split-QLを紹介する。このモデルは、正の報酬と負の報酬を別々の重みと割引率で処理する。シミュレートされたタスク、アイオワギャンブルタスク、報酬分布が変化する生涯的Pac-Man環境において、標準的なQ学習、SARSA、およびダブルQ学習を上回る性能を発揮する。

ABSTRACT

Drawing an inspiration from behavioral studies of human decision making, we propose here a more general and flexible parametric framework for reinforcement learning that extends standard Q-learning to a two-stream model for processing positive and negative rewards, and allows to incorporate a wide range of reward-processing biases -- an important component of human decision making which can help us better understand a wide spectrum of multi-agent interactions in complex real-world socioeconomic systems, as well as various neuropsychiatric conditions associated with disruptions in normal reward processing. From the computational perspective, we observe that the proposed Split-QL model and its clinically inspired variants consistently outperform standard Q-Learning and SARSA methods, as well as recently proposed Double Q-Learning approaches, on simulated tasks with particular reward distributions, a real-world dataset capturing human decision-making in gambling tasks, and the Pac-Man game in a lifelong learning setting across different reward stationarities.

研究の動機と目的

• 神経精神的疾患における観察された人間の報酬処理バイアスを捉える、より柔軟で生物学的に妥当な強化学習フレームワークの開発。
• 標準的なQ学習を拡張し、正の報酬と負の報酬を別々の処理ストリームで処理し、独立したパラメータを用いる。
• この二重ストリームアプローチが、非定常的かつ臨床的に関連性の高い意思決定環境での性能向上に寄与するかどうかの評価。
• ADHD、うつ病、および依存症などの疾患で見られる報酬処理の不均衡の計算的意味を解明。
• 健康な状態と障害的状態の両方の報酬処理を統合的に扱える計算モデルの提供。

提案手法

• Split-QLモデルは報酬信号を二つの独立したストリームに分割する：正の報酬と負の報酬、それぞれが独自の重みパラメータを用いて処理される。
• 各ストリームは過去の報酬に対して別々の割引率を適用し、正の経験と負の経験の記憶保持に差を設ける。
• Q値の更新ルールは、各状態行動ペアに対して二つの別々のQ値を計算し、それらを統合して最終的なQ値を算出するように変更される。
• 安定性を確保するため、各ストリームに別々のターゲットネットワークまたは更新を維持する、修正されたQ学習更新ルールを用いてモデルを訓練する。
• パラメータ設定を臨床的にインスパイアされた多様な形でサポートしており、例えばパーキンソン病様の負の報酬への過敏な反応、または依存症様の過去の報酬の忘却能力の低下など。
• 実験は、非独立同分布の報酬分布を有する合成MDP、アイオワギャンブルタスク（IGT）、および確率的報酬シフトを伴う生涯的Pac-Manゲームを通じて実施され、適応性がテストされる。

実験結果

リサーチクエスチョン

• RQ1 正の報酬と負の報酬を別々に処理する二重ストリーム強化学習モデルは、非定常的かつ臨床的に関連性の高い環境で、標準的なQ学習を上回る性能を発揮できるか？
• RQ2 負の報酬への過敏な反応や過去の報酬の割引率の低下といった、異なる報酬処理バイアスが、学習性能と適応性に与える影響は何か？
• RQ3 Split-QLは、ADHD、うつ病、または慢性疼痛などの神経精神的疾患で観察される行動パターンを、どの程度正確に捉え、再現できるか？
• RQ4 報酬分布が時間とともに変化する生涯学習環境において、Split-QLは優れた適応性を示すか？
• RQ5 Split-QLの性能は、慢性疼痛における回避行動や依存症におけるリスク志向行動といった、特定の臨床表現型を反映するように調整可能か？

主な発見

• 非独立同分布の報酬分布を有する合成MDPにおいて、Split-QLは標準的なQ学習、SARSA、およびダブルQ学習を一貫して上回った。
• 実世界のヒトのギャンブル意思決定データセットであるアイオワギャンブルタスク（IGT）において、臨床的にインスパイアされたパラメータを用いたSplit-QLは、ヒトの性能に一致またはそれを上回り、ベースライン手法を上回った。
• 確率的報酬シフトを伴う生涯的Pac-Man環境において、Split-QLは全4つの定常性シナリオ（報酬ストリームの確率的マッピング、スケーリング、フリッピング）において、優れた適応性と高い平均最終スコアを示した。
• 報酬フリッピングのシナリオでは、特定の精神的エージェント（特にADHD様エージェント）が、標準的なSplit-QLをも上回り、変動が激しい環境での現実世界の行動的優位性を反映した。
• CP（慢性疼痛）様エージェントは、低報酬にもかかわらず、ゴーストを避け続ける極端な回避行動を示し、慢性疼痛患者が報酬収集を犠牲にしても生存を優先する臨床的特徴を模倣した。
• モデルの柔軟性により、慢性疼痛における回避行動やADHDにおける迅速な注意切り替えといった多様な臨床表現型をシミュレート可能であり、精神医学的モデリングの計算的ツールとしての可能性を示唆した。