[論文レビュー] Learning in Repeated Games: Human Versus Machine

Fatimah Ishowo-Oloko, Jacob W. Crandall+3 more|arXiv (Cornell University)|Apr 19, 2014

Artificial Intelligence in Games参考文献 39被引用数 3

ひとこと要約

本研究では、繰り返し一般和ゲームにおける人間と従来のモデルベース強化学習（RL）エージェントと比較して、収束が速いAIアルゴリズム（S++）の性能を評価している。58名の参加者を対象としたユーザースタディを通じて、S++は協力や調整において人間の性能と同等またはそれを上回ることを明らかにした。これは、現代のAIが人間が関与する時間スケールで、社会的相互作用において人間の直感に匹敵する能力を獲得したことを示している。

ABSTRACT

While Artificial Intelligence has successfully outperformed humans in complex combinatorial games (such as chess and checkers), humans have retained their supremacy in social interactions that require intuition and adaptation, such as cooperation and coordination games. Despite significant advances in learning algorithms, most algorithms adapt at times scales which are not relevant for interactions with humans, and therefore the advances in AI on this front have remained of a more theoretical nature. This has also hindered the experimental evaluation of how these algorithms perform against humans, as the length of experiments needed to evaluate them is beyond what humans are reasonably expected to endure (max 100 repetitions). This scenario is rapidly changing, as recent algorithms are able to converge to their functional regimes in shorter time-scales. Additionally, this shift opens up possibilities for experimental investigation: where do humans stand compared with these new algorithms? We evaluate humans experimentally against a representative element of these fast-converging algorithms. Our results indicate that the performance of at least one of these algorithms is comparable to, and even exceeds, the performance of people.

研究の動機と目的

• 現代のAIアルゴリズムが繰り返し社会的相互作用において人間の性能と同等またはそれを上回ることを確認すること。
• 過去のAI研究では、人間が関与する時間スケール（例：100ラウンド以上）において、アルゴリズムの適応が遅すぎることに起因するギャップを埋めること。
• 繰り返し一般和ゲームにおける人間とAIのパフォーマンスを実験的に比較し、協力と適応性に焦点を当てる。
• 新しい収束が速いAIアルゴリズムが、多様なゲーム環境における人間や他のエージェントと対戦する際のパフォーマンスを評価すること。
• AIが繰り返し相互作用において人間の直感と同等の社会的知能に達しているかどうかを特定すること。

提案手法

• 4つの繰り返し正規形ゲームにおいて、58名の被験者を対象にユーザースタディを実施。被験者は互いにペアを組み、AIエージェントとも対戦した。
• S++アルゴリズムを用いた。これは、最近開発された繰り返しゲームに特化した収束が速い学習アルゴリズムであり、100ラウンド以内に適応を達成することを目的としている。
• S++を、モデルベース強化学習（RL）エージェントと人間プレーヤーと比較した。使用したゲームは4つ：アンジェロのジレンマ、ハトとキリン、チキン、カオス。
• 自己対戦およびクロスプレイの両状況において、ラウンドごとの平均報酬を測定してパフォーマンスを評価した。
• 人間、S++、モデルベースRLエージェントの異なる相手タイプに対してパフォーマンスを分析し、適応性と協力の質を評価した。
• 各ゲーム条件で50回の試行を統計的に分析し、結果の信頼性を確保した。

実験結果

リサーチクエスチョン

• RQ1 収束が速いAIアルゴリズム（例：S++）は、繰り返し一般和ゲームにおいて人間のパフォーマンスと同等またはそれを上回る性能を達成できるか？
• RQ2 S++は、多様なゲームタイプにおいて人間との対戦で、協力性と報酬最大化の観点でどの程度のパフォーマンスを示すか？
• RQ3 S++は、人間や他のエージェントと対戦する際、従来のモデルベースRLエージェントと比較してどの程度のパフォーマンスを示すか？
• RQ4 S++は、異なるゲーム環境や相手タイプにおいて、一貫した適応性と戦略的妥協を示すか？
• RQ5 繰り返しゲームにおける人間の心理的メカニズムは、現在のAI学習アルゴリズムに比べて依然として優れているとまでは言えるか？

主な発見

• S++は、4つの繰り返しゲームすべてにおいて、人間と同等またはそれ以上のパフォーマンスを達成した。自己対戦では、人間およびモデルベースRLエージェントを上回った。
• 人間とAIのペアでの対戦では、S++は平均ラウンド報酬において人間と同等のパフォーマンスを示し、人間と効果的に協力できることを示した。
• 別のS++エージェントとペアを組んだ場合、S++は人間およびモデルベースRLエージェントよりも高い平均報酬を達成し、強い相互協力性を示した。
• S++は、すべてのゲームタイプおよび相手設定において、モデルベースRLエージェントを一貫して上回った。人間や他のエージェントと対戦する場面でも同様だった。
• チキンゲームでは、S++は時間の経過とともに着実にパフォーマンスを向上させ、初期の困難を乗り越えた後、人間およびモデルベースRLのパフォーマンスと同等またはそれを上回った。
• 結果から、S++は任意の相手と繰り返し一般和ゲームにおいて、適応と学習の強固な能力を発展させ、これらの文脈で人間の社会的知能に匹敵する能力を備えていることが示された。