[論文レビュー] Aligning Superhuman AI with Human Behavior: Chess as a Model System

Reid McIlroy-Young, Siddhartha Sen+2 more|arXiv (Cornell University)|Jun 2, 2020

Sports Analytics and Performance参考文献 12被引用数 22

ひとこと要約

この論文では、人間のチェス対局データに微調整された、AlphaZeroに基づくカスタマイズ型AIモデルであるMaiaを紹介している。Maiaは、既存のエンジンよりも顕著に高い精度で人間の手を予測する。異なる実力レベルの人間プレイヤーの手レベルデータを用いて訓練することで、人間行動との調整可能な一致を達成し、個々のおよび集団的なミス（ブリューノ）の予測においてベースラインを上回っている。本研究は、詳細な行動モデリングを通じて人間とAIの協働を実現する道筋を示している。

ABSTRACT

As artificial intelligence becomes increasingly intelligent---in some cases, achieving superhuman performance---there is growing potential for humans to learn from and collaborate with algorithms. However, the ways in which AI systems approach problems are often different from the ways people do, and thus may be uninterpretable and hard to learn from. A crucial step in bridging this gap between human and artificial intelligence is modeling the granular actions that constitute human behavior, rather than simply matching aggregate human performance. We pursue this goal in a model system with a long history in artificial intelligence: chess. The aggregate performance of a chess player unfolds as they make decisions over the course of a game. The hundreds of millions of games played online by players at every skill level form a rich source of data in which these decisions, and their exact context, are recorded in minute detail. Applying existing chess engines to this data, including an open-source implementation of AlphaZero, we find that they do not predict human moves well. We develop and introduce Maia, a customized version of Alpha-Zero trained on human chess games, that predicts human moves at a much higher accuracy than existing engines, and can achieve maximum accuracy when predicting decisions made by players at a specific skill level in a tuneable way. For a dual task of predicting whether a human will make a large mistake on the next move, we develop a deep neural network that significantly outperforms competitive baselines. Taken together, our results suggest that there is substantial promise in designing artificial intelligence systems with human collaboration in mind by first accurately modeling granular human decision-making.

研究の動機と目的

• 人間の意思決定と超人間的AIの間のギャップを埋めるために、集計的パフォーマンスではなく、詳細な人間行動をモデリングすること。
• AIシステムの単純な性能低下（例：計算量の削減）が人間行動と一致するのか、それともより複雑なパrametrizationが必要なのかを調査すること。
• 人間の行動を特定の実力レベルに合わせて調整可能なAIシステムを開発し、より良い協働や教育を可能にすること。
• 人間の対局データを用いた深層学習により、チェスにおける人間のミス（ブリューノ）の予測を改善すること。
• 熟練度が必要な分野における詳細な人間-AI一致の研究のモデル系として、チェスを確立すること。

提案手法

• 人間のチェス対局データの大規模データセットに、深層強化学習モデル（AlphaZeroに基づく）を微調整して、人間の手を高精度に予測できるMaiaを生成すること。
• 残差畳み込みニューラルネットワーク（CNN）アーキテクチャを用いて、盤面状態とメタデータを処理し、高精度な手の予測を可能にすること。
• カリキュラム学習のアプローチを用いてMaiaを訓練し、調整可能な温度パrameterを介して、特定の実力レベルの人間行動にモデルのポリシーを合わせること。
• 複数タスク学習フレームワークを適用し、次の手としての人間の手と、次の手でミス（ブリューノ）を犯す可能性を同時に予測すること。
• 繰り返し現れる盤面状態を位置レベルでグループ化して、集団的ブリューノ予測モデルを訓練し、ノイズを低減し一般化性能を向上させること。
• 本物の人間対局のテストセットを用いて、ランダムフォレスト、全結合ネットワーク、標準チェスエンジンなどの強力なベースラインと性能を比較すること。

実験結果

リサーチクエスチョン

• RQ1 既存の超人間的AIシステムは、人間の手を正確に予測できるのか、それとも意思決定戦略が根本的に異なるのか？
• RQ2 AIシステムの性能を低下させること（例：計算量を減らすこと）が、人間の意思決定行動と一致するのか、それとも乖離するのか？
• RQ3 深層学習モデルを、特定の実力レベルに合わせてパラメータ化することで、人間の手を高い精度で予測可能になるのか？
• RQ4 AIモデルは、人間がチェスで大きなミス（ブリューノ）を犯す可能性をどの程度まで正確に予測できるのか？
• RQ5 チェスにおける人間行動の詳細なモデリングは、標準的なレーティングスケールを超えたスキルの次元を明らかにできるのか？

主な発見

• Maiaは、盤面状態とメタデータを用いた場合、個々の人の手を71.7%の精度で予測でき、最高のベースライン（全結合ネットワークで66.0%）を顕著に上回っている。
• Maiaで使用された残差CNNアーキテクチャは、71.7%の精度で手の予測を達成しており、より深い、より表現力のあるモデルが人間行動との高精度な一致に不可欠であることを示している。
• Maiaは、特定の実力レベルの人間行動に合わせて調整可能であり、特定のレーティングレンジのプレイヤーに対して最大の精度で手を予測できる。
• 集団的ブリューノ予測タスクにおいて、深層残差CNNモデルは76.9%の精度を達成し、単純なモデルを上回っており、グループ化されたデータがノイズを低減し予測性能を向上させることを示している。
• 人間が次の手で大きなミス（ブリューノ）を犯すかどうかを予測するタスクにおいて、モデルは競合するベースラインを顕著に上回っており、人間-AI協働における誤り検出の強力な可能性を示している。
• 結果から、AIシステムの単純な性能低下では人間行動と一致せず、人間データへの的確な微調整が、効果的な人間-AI一致のためには不可欠であることが示唆されている。