[論文レビュー] Using Cognitive Models to Train Warm Start Reinforcement Learning Agents for Human-Computer Interactions

Chao Zhang, Shihan Wang+2 more|arXiv (Cornell University)|Mar 10, 2021

Reinforcement Learning in Robotics参考文献 28被引用数 5

ひとこと要約

本論文では、証拠蓄積モデルやACT-Rなどの認知モデルを用いて人間のユーザー行動をシミュレートし、強化学習（RL）エージェントの事前学習を行うことで、人間-コンピュータインタラクションにおける『ウォームスタート』RLを実現し、実際のユーザーとの対話の必要を低減する手法を提案する。この手法により、身体活動促進において高い行動的影響が得られ、ドライブ支援においても効果的なレーンキープ支援が実現され、モデルベースのシミュレーションが実際の展開前の初期方策性能を向上させることを示している。

ABSTRACT

Reinforcement learning (RL) agents in human-computer interactions applications require repeated user interactions before they can perform well. To address this "cold start" problem, we propose a novel approach of using cognitive models to pre-train RL agents before they are applied to real users. After briefly reviewing relevant cognitive models, we present our general methodological approach, followed by two case studies from our previous and ongoing projects. We hope this position paper stimulates conversations between RL, HCI, and cognitive science researchers in order to explore the full potential of the approach.

研究の動機と目的

• 人間-コンピュータインタラクション（HCI）における強化学習（RL）のコールドスタート問題に対処すること。この問題では、効果的な方策を学習するためにエージェントが多数のユーザー対話が必要となる。
• データ集約型RLの限界を克服するため、認知モデルを活用して合成されたユーザー対話データを生成し、事前学習に用いること。
• 認知モデルを用いてユーザー行動をシミュレートすることで、実世界のHCIアプリケーションにおけるRLエージェントの収束速度の向上と性能向上を実現すること。
• 大規模な歴史的ユーザーデータが不要な状況でも、個別化・適応型インタラクションシステムを支援するため、認知モデリングとRLを統合すること。
• 認知科学、HCI、RLの相乗効果を探索し、より効率的でユーザーフレンドリーなインタラクティブシステムの構築を図ること。

提案手法

• 証拠蓄積モデル（EAMs）やACT-Rなどの認知アーキテクチャを用いて、インタラクティブ環境における人間の意思決定および学習プロセスを模倣する。
• 認知モデルに基づく確率的ヒューマンシミュレータを構築し、次状態や報酬を含む合成されたユーザー対話データを生成する。
• ヒューマンシミュレータから得たシミュレートされたデータを用いて、実際のユーザーとの対話前に初期方策を学習するため、RLエージェントを事前学習する。
• 認知モデルのパラメータ（例：意思決定閾値、好み）を報酬関数に統合し、RLエージェントが認知状態に影響を与える方向に誘導する。
• シミュレーション内で事前学習済み方策を検証し、可能であればヒューマンインザループ実験を実施して、現実世界での有効性を評価する。
• 歴史的行動データと心理的理論（例：記憶や意思決定）を組み合わせることで、シミュレートされたユーザー・モデルの現実性を高める。

実験結果

リサーチクエスチョン

• RQ1 認知モデルは、インタラクティブタスクにおける人間のユーザー行動を効果的にシミュレートできるか。その結果、RLエージェントの事前学習が可能になるか。
• RQ2 認知モデルから生成されたデータを用いた事前学習は、実際のユーザー対話におけるコールドスタート学習と比較して、RLエージェントの性能をどの程度向上させるか。
• RQ3 個々のユーザー行動の違いを考慮する場合、認知モデルが個人に特化したRLエージェントの学習にどの程度寄与できるか。
• RQ4 経験的に妥当性が確認された認知モデルを用いることで、事前学習済みRL方策の一般化性と信頼性はどの程度向上するか。
• RQ5 認知モデルとRLの統合により、エージェントのパフォーマンスを通じて認知理論を検証・精緻化するフィードバックループを構築できるか。

主な発見

• 身体活動促進の文脈において、認知モデルに基づくシミュレータを用いて事前学習されたRLエージェントは、文脈に無関係なエージェントよりも高い行動的影響を持つお知らせを提供した。
• ドライブ支援の事例研究において、事前学習済みRLエージェントは、シミュレートされたドライバーの注意散漫状態に基づき、最適な干渉タイミングを的確に特定し、ドライバーの自律性を保った。
• シミュレートされたデータを用いた事前学習により、方策収束に必要な実際のユーザー対話回数が顕著に減少し、コールドスタート問題が緩和された。
• 認知モデルの活用により、観測できない認知状態（例：意思決定閾値、バイアス）の推定が可能となり、それがRL報酬関数に組み込まれた。
• 本手法は、行動的健康と知的輸送の2つの異なるHCI分野において実現可能性を示し、広範な適用可能性を示した。
• 経験的に妥当性が確認された認知モデルは、シミュレートされたデータの信頼性を向上させ、モデルの不正確さに起因する方策失敗のリスクを低減した。