[論文レビュー] Diversifying AI: Towards Creative Chess with AlphaZero

Tom Zahavy, Vivek Veeriah+8 more|arXiv (Cornell University)|Aug 17, 2023

Artificial Intelligence in Games被引用数 4

ひとこと要約

この論文では、潜在変数条件付きアーキテクチャと部分加法的計画を用いた、AlphaZeroに基づくAIエージェントからなる多様なチーム「AZ db」を提案する。この手法により、行動の多様性を促進し、有望な手を効果的に選択することで、単一エージェントのAlphaZeroに比べ、2倍の難解なチェスパズルを解決し、特にペンローズのポジションを含む。また、専用エージェント選択によりオープニング戦術で50 Eloの向上を達成した。

ABSTRACT

In recent years, Artificial Intelligence (AI) systems have surpassed human intelligence in a variety of computational tasks. However, AI systems, like humans, make mistakes, have blind spots, hallucinate, and struggle to generalize to new situations. This work explores whether AI can benefit from creative decision-making mechanisms when pushed to the limits of its computational rationality. In particular, we investigate whether a team of diverse AI systems can outperform a single AI in challenging tasks by generating more ideas as a group and then selecting the best ones. We study this question in the game of chess, the so-called drosophila of AI. We build on AlphaZero (AZ) and extend it to represent a league of agents via a latent-conditioned architecture, which we call AZ_db. We train AZ_db to generate a wider range of ideas using behavioral diversity techniques and select the most promising ones with sub-additive planning. Our experiments suggest that AZ_db plays chess in diverse ways, solves more puzzles as a group and outperforms a more homogeneous team. Notably, AZ_db solves twice as many challenging puzzles as AZ, including the challenging Penrose positions. When playing chess from different openings, we notice that players in AZ_db specialize in different openings, and that selecting a player for each opening using sub-additive planning results in a 50 Elo improvement over AZ. Our findings suggest that diversity bonuses emerge in teams of AI agents, just as they do in teams of humans and that diversity is a valuable asset in solving computationally hard problems.

研究の動機と目的

• 計算的に困難なタスク、たとえばチェスにおいて、多様なAIチームが単一のAIエージェントを上回る性能を示すかどうかを調査すること。
• 人間の認知にインspiredされた創造的意思決定メカニズムが、AIのパフォーマンスを向上させることを探索すること。
• 強化学習を用いて、チェスにおける多様で高品質な手を生成・選択するスケーラブルなフレームワークを開発すること。
• 行動の多様性と部分加法的計画が、非自明なチェスパズルの解決に与える影響を評価すること。
• AIチームにおける多様性が、人間のチームダイナミクスに類似した測定可能なパフォーマンス向上をもたらすことを示すこと。

提案手法

• AZ dbは、各エージェントが固有の潜在変数に条件付けられる潜在変数条件付きアーキテクチャを採用しており、これにより異なるスタイルと行動の多様性が実現される。
• 訓練中に内部の多様性報酬を用いることで、エージェントが異なる戦略を探索し、重複する行動を避けるよう促進する。
• 推論段階で部分加法的計画を適用し、複数のエージェントから最も有望な手を選択し、それらの評価を統合して意思決定の質を向上させる。
• エージェントは、事前分布、価値ネットワーク、多様性信号を用いたモンテカルロツリー探索（MCTS）を用いた自己対戦により訓練される。
• このアーキテクチャにより、エージェントの潜在表現に基づいて戦略的多様性を最大化するように動的にマッチング可能なマッチメイキングが可能になる。
• パズル解決性能は、ペンローズやハーゼクのポジションを含む、キュレートされた挑戦的セットを用いて評価され、分布外推論のテストが行われる。

実験結果

リサーチクエスチョン

• RQ1 多様なAIエージェントのチームは、複雑なチェスパズルの解決において、単一のAIエージェントを上回ることができるか？
• RQ2 AIエージェントにおける行動の多様性は、分布外のポジションにおける一般化力と問題解決能力の向上に寄与するか？
• RQ3 複数の多様なエージェントを組み合わせる際、部分加法的計画が意思決定の質をどの程度向上させるか？
• RQ4 多様なチーム内に、特定のオープニングタイプに特化したエージェントが出現するか？また、それらを適切に選択することでパフォーマンスが向上するか？
• RQ5 AIチームにおける多様性ボーナスは、創造的または非自明な問題解決において観察される人間チームのそれと類似しているか？

主な発見

• AZ dbは、標準的なAlphaZeroに比べ、2倍の難解なチェスパズルを解決し、ペンローズセットの全15のポジションを含む。
• 部分加法的計画を用いてオープニングごとに専用エージェントを選択することで、AZ dbはAlphaZeroに比べ50 Eloのレーティング向上を達成した。
• AZ dbは明確な特化を示しており、マッチアップ分析により、エージェントが異なるオープニングで独自の強みを発展させていることが確認された。
• 多様性ボーナスは測定可能であり、AZ dbは均質なチームや単一エージェントのAlphaZeroを上回るパズル解決ベンチマークでのパフォーマンスを示した。
• 部分加法的計画は、多様なエージェントの出力を効果的に統合し、個々のエージェントが単独で達成できるよりも優れた手選択を実現した。
• 分布外のパズル、特に長期的な予防的戦術や直感に反する手の犠牲を要するようなポジションにおいて、AZ dbは標準的なチェスエンジンの能力を超えた推論能力を示した。