[論文レビュー] Credit Assignment: Challenges and Opportunities in Developing Human-like AI Agents

Thuy Ngoc Nguyen, Chase McDonald+1 more|arXiv (Cornell University)|Jul 16, 2023

Cognitive Science and Mapping被引用数 8

ひとこと要約

論文は、インスタンスベース学習を3つのクレジット割当メカニズム（等しい、指数的、TD）およびQ-learningと比較し、遅延報酬を伴うグリッドワールド課題で、等しいクレジットが人間の最大性能に最も適合する一方、IBL-TDが最適経路性能に最も適合することを示し、意思決定の複雑さに対する影響は人間の方がモデルより大きいと結論付けています。

ABSTRACT

Temporal credit assignment is crucial for learning and skill development in natural and artificial intelligence. While computational methods like the TD approach in reinforcement learning have been proposed, it's unclear if they accurately represent how humans handle feedback delays. Cognitive models intend to represent the mental steps by which humans solve problems and perform a number of tasks, but limited research in cognitive science has addressed the credit assignment problem in humans and cognitive models. Our research uses a cognitive model based on a theory of decisions from experience, Instance-Based Learning Theory (IBLT), to test different credit assignment mechanisms in a goal-seeking navigation task with varying levels of decision complexity. Instance-Based Learning (IBL) models simulate the process of making sequential choices with different credit assignment mechanisms, including a new IBL-TD model that combines the IBL decision mechanism with the TD approach. We found that (1) An IBL model that gives equal credit assignment to all decisions is able to match human performance better than other models, including IBL-TD and Q-learning; (2) IBL-TD and Q-learning models underperform compared to humans initially, but eventually, they outperform humans; (3) humans are influenced by decision complexity, while models are not. Our study provides insights into the challenges of capturing human behavior and the potential opportunities to use these models in future AI systems to support human activities.

研究の動機と目的

• 遅延報酬のある動的タスクにおける人間に似たAIのための時間的クレジット割当の研究動機づけ。
• 複数のIBLTクレジット割当変種（等しい、指数的、TD）をRLベースラインと人間データと比較評価。
• どのメカニズムが人間挙動を最もよく再現し、異なる意思決定の複雑さで最適な性能を生み出すかを決定。

提案手法

• IBLルール内で三つのIBLクレジット割当メカニズム（IBL-Equal、IBL-Exponential、IBL-TD）を実装。
• IBlに時間差（TD）メカニズムを拡張してIBL-TDを形成。
• 単純および複雑な意思決定コンテキストを持つ二つのグリッドワールド実験から収集した人間データとモデル予測を比較。
• TDベースのアプローチを基準としてQ-learning RLベースラインを使用。
• 単純/複雑なグリッドで合計378回の実行、設定あたり40エピソードを評価指標PMaxおよびPOptで評価。
• 学習曲線を分析し、条件間でモデル対人間の性能を直接比較。

Figure 1 : Experimental scenarios.

実験結果

リサーチクエスチョン

• RQ1 遅延報酬シーケンシャルタスクにおいて、IBLT内のどのクレジット割当メカニズムが人間行動に最も近いか？
• RQ2 TDベースの手法（IBL-TD、Q-learning）は等しいまたは指数的クレジット割当に比べて人間の性能との一致を改善するか、特に意思決定の複雑さが異なる場合に？
• RQ3 遅延結果を伴うグリッドワールドのナビゲーションにおいて、意思決定の複雑さは人間と認知モデルにどのような影響を与えるか？
• RQ4 IBLベースのモデルは動的環境における戦略形成と学習軌跡に対する人間に類似した説明を提供できるか？

主な発見

Model	Simple PMax	Simple Diff	Simple POpt	Simple Diff	Complex PMax	Complex Diff	Complex POpt	Complex Diff
Human	0.71	—	0.66	—	0.48	—	0.43	—
IBL-Equal	0.80	0.09	0.73	0.25	0.73	0.25	0.37	-0.06
IBL-Exponential	0.79	0.08	0.67	-0.01	0.67	0.19	0.42	-0.01
IBL-TD	0.68	-0.04	0.62	0.14	0.62	0.14	0.44	0.01
Q-learning	0.67	-0.05	0.61	0.13	0.61	0.13	0.40	-0.03
IBL-Equal Complex	0.73	0.25	0.37	-0.06	0.73	0.25	0.37	-0.06
IBL-Exponential Complex	0.67	0.19	0.42	-0.01	0.67	0.19	0.42	-0.01
IBL-TD Complex	0.62	0.14	0.44	0.01	0.62	0.14	0.44	0.01
Q-learning Complex	0.61	0.13	0.40	-0.03	0.61	0.13	0.40	-0.03

• IBL-Equalは、最高値ターゲットへ到達するエピソード数の最大化という指標（PMax）において人間の性能と最も近い。
• IBL-TDはエピソード内での最適経路達成（POptimal）において人間の性能と最も近い。
• TDベースのモデル（IBL-TD、Q-learning）は学習が遅いが急速に改善し、複雑な環境では人間の性能を超えることがある。
• 人間は意思決定の複雑さに敏感だが、TDベースのモデルは複雑さに対する感受性が小さい。
• 単純なグリッドではTDモデルが人間をPMaxで下回るが追いつく；複雑なグリッドでは人間のPMaxおよびPOptを上回る可能性がある。
• IBL-ExponentialとIBL-Equalは単純設定ではPMaxパターンをよく捉えるが、複雑設定ではPOptに関して人間とは異なる動作を示す。

(a) Simple grid