[論文レビュー] Online Learning in Iterated Prisoner's Dilemma to Mimic Human Behavior

Baihan Lin, Djallel Bouneffouf+1 more|arXiv (Cornell University)|Jun 9, 2020

Evolutionary Game Theory and Cooperation被引用数 4

ひとこと要約

本稿は、反復囚人のジレンマ（IPD）におけるオンライン学習アルゴリズム—マルチアームバンディット、コンテキストバンドイット、強化学習—の性能を評価し、社会的ジレンマにおける行動と人間の行動を模倣する能力を検証する。コンテキストバンドイットは現在の文脈に過剰に依存するため性能が低いことが判明した一方、単純なバンディットが人間の意思決定を最もよく再現しており、人間がIPDにおいて状況的文脈を利用しない可能性を示唆している。

ABSTRACT

As an important psychological and social experiment, the Iterated Prisoner's Dilemma (IPD) treats the choice to cooperate or defect as an atomic action. We propose to study the behaviors of online learning algorithms in the Iterated Prisoner's Dilemma (IPD) game, where we investigate the full spectrum of reinforcement learning agents: multi-armed bandits, contextual bandits and reinforcement learning. We evaluate them based on a tournament of iterated prisoner's dilemma where multiple agents can compete in a sequential fashion. This allows us to analyze the dynamics of policies learned by multiple self-interested independent reward-driven agents, and also allows us study the capacity of these algorithms to fit the human behaviors. Results suggest that considering the current situation to make decision is the worst in this kind of social dilemma game. Multiples discoveries on online learning behaviors and clinical validations are stated, as an effort to connect artificial intelligence algorithms with human behaviors and their abnormal states in neuropsychiatric conditions.

研究の動機と目的

• 反復囚人のジレンマ（IPD）のような社会的ジレンマゲームにおけるオンライン学習エージェントの行動を調査すること。
• IPDトーナメントにおいて文脈への注目が報酬最大化に寄与するかを評価すること。
• 異なるオンライン学習アルゴリズムが繰り返し社会的相互作用における人間の行動パターンを正確にモデル化できるかを評価すること。
• 行動モデリングを通じて、AI学習メカニズムと神経精神疾患との関連を探索すること。
• 学習バイアスが人間および病的な意思決定をどのように反映または予測するかを分析することで、人工知能と神経精神医学を橋渡しすること。

提案手法

• 複数のエージェント（ペアワイズ、3エージェント、および「メンタル」エージェント変種を含む）を用いたIPDのラウンドロビン戦を実施する。
• 3つのアルゴリズムクラスを採用：マルチアームバンディット（文脈なし）、コンテキストバンドイット（文脈依存）、強化学習（状態および遷移に依存）。
• 人間の意思決定データを用いた行動クラーニングによりアルゴリズムを訓練し、その予測精度をテストする。
• 報酬中心で自己利益志向の学習フレームワークを採用し、繰り返し相互作用において累積報酬を最適化する。
• 異なるIPD設定における実証的評価を実施し、ポリシーのダイナミクスと学習行動を分析する。
• すべての結果の再現性を確保するため、オープンソースのコードとデータ（GitHubで公開）を用いる。

実験結果

リサーチクエスチョン

• RQ1 オンライン学習エージェントにおいて、現在の文脈に注目することは、反復囚人のジレンマにおける報酬最大化を改善するか？
• RQ2 バンディット、コンテキストバンドイット、強化学習といった異なるオンライン学習アーキテクチャは、社会的ジレンマにおけるパフォーマンスおよび行動ダイナミクスにおいてどのように比較されるか？
• RQ3 オンライン学習アルゴリズムは、繰り返し社会的相互作用における人間の行動を効果的に模倣できるか？
• RQ4 これらの学習行動の意味は、報酬処理と注意バイアスに関与する神経精神疾患の理解にどのような示唆をもたらすか？
• RQ5 学習アルゴリズムにおける異なるインダクティブバイアスは、異常な人間の意思決定パターンをどのように反映または予測するか？

主な発見

• コンテキストバンドイットはIPDトーナメントで低いパフォーマンスを示し、社会的ジレンマゲームでは現在の状態に注目するだけでは最適でないことが示された。
• 文脈なしのマルチアームバンディットが報酬最大化において最良のパフォーマンスを達成しており、文脈を無視することが部分的な文脈認識よりも効果的である可能性を示唆している。
• バンディットアルゴリズムが実証的人間行動データと最も一致しており、人間がIPDをプレイする際には文脈的情報を利用しない可能性があることを示唆している。
• これらの結果は、社会的ジレンマにおいて文脈認識意思決定が最適であるという仮定を覆し、現在の状態に過剰に注目することは有害である可能性を示唆している。
• シミュレーション結果は、ADHD、うつ病、依存症などの疾患における報酬処理障害の臨床的観察と一致しており、本モデルが神経精神医学研究において関連性があることを支持している。
• 本研究は、AI学習フレームワークを用いて人間の意思決定メカニズムおよびその機能障害をモデル化・理解する基盤を提供している。