[論文レビュー] Learning Personalized Models of Human Behavior in Chess

Reid McIlroy-Young, Russell Wang+3 more|arXiv (Cornell University)|Aug 23, 2020

Sports Analytics and Performance参考文献 58被引用数 9

ひとこと要約

本稿では、特定のプレイヤーの手番の順序データをもとに事前学習済みのAlphaZeroエージェントを微調整することで、人間のチェス行動のパーソナライズドモデルを提案する。繰り返しの微調整により、特定のプレイヤーに適応したモデルを構築することで、人間の手の予測精度が高く、正確なスタイル分析（stylometry）が可能となり、パーソナライズドAIが個々の人の意思決定パターンを的確に捉えることができることを示している。

ABSTRACT

Even when machine learning systems surpass human ability in a domain, there are many reasons why AI systems that capture human-like behavior would be desirable: humans may want to learn from them, they may need to collaborate with them, or they may expect them to serve as partners in an extended interaction. Motivated by this goal of human-like AI systems, the problem of predicting human actions -- as opposed to predicting optimal actions -- has become an increasingly useful task. We extend this line of work by developing highly accurate personalized models of human behavior in the context of chess. Chess is a rich domain for exploring these questions, since it combines a set of appealing features: AI systems have achieved superhuman performance but still interact closely with human chess players both as opponents and preparation tools, and there is an enormous amount of recorded data on individual players. Starting with an open-source version of AlphaZero trained on a population of human players, we demonstrate that we can significantly improve prediction of a particular player's moves by applying a series of fine-tuning adjustments. Furthermore, we can accurately perform stylometry -- predicting who made a given set of actions -- indicating that our personalized models capture human decision-making at an individual level.

研究の動機と目的

• 最適な手ではなく人間の手を予測するAIモデルを開発し、人間とAIの協働や学習を促進すること。
• プレイヤーの歴史的指し手データを用いて一般用途のAIエージェントをパーソナライズすることで、個々のプレイヤーに対する予測精度を向上させること。
• パーソナライズドモデルが、指し手の系列の著者を特定する「スタイル分析（stylometry）」を実行できるかどうかを検証すること。これは、個々のプレイスタイルを捉えることで実現する。
• 超人間的AIモデル（AlphaZero）を微調整することで、個別レベルでの人間らしい行動をどのように得られるかを調査すること。

提案手法

• 特定のプレイヤーの指し手の系列データセットを用いて、事前学習済みのAlphaZeroエージェントを微調整し、その方策ネットワークをそのプレイヤーの行動に適合させる。
• 個々のプレイヤーの指し手の履歴データを用いた教師あり学習により、モデルの方策ネットワークを調整し、一般の最適戦略からパーソナライズドな意思決定へとシフトさせる。
• 個々のプレイヤーのバッチデータを用いて繰り返し微調整を実施し、モデルの行動を観察された人間の選択と徐々に一致させる。
• 同じプレイヤーのホールドアウトされた指し手の系列を用いて、パーソナライズドモデルの予測精度を評価する。
• 微調整済みモデルを用いて、与えられた指し手の系列をどのプレイヤーが最も多く指したかを特定するスタイル分析を実施する。
• チェスは人間の指し手データが豊富にあり、超人間的AIのベンチマークも整っているため、この分野を活用して本アプローチの妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 超人間的AIモデル（例：AlphaZero）を微調整することで、チェスにおける個々のプレイヤーの指し手を正確に予測できるか？
• RQ2 パーソナライズドモデルはどの程度、独自のプレイスタイルを捉え、指し手の系列のスタイル分析を正確に実行できるか？
• RQ3 個々のプレイヤーのデータに対する微調整は、ベースモデルと比較して予測性能をどの程度向上させるか？
• RQ4 パーソナライズドモデルは、同じプレイヤーの未観測の指し手の系列に対しても十分に一般化できるか？

主な発見

• ベースのAlphaZeroモデルと比較して、個々のプレイヤーに対する予測精度が顕著に向上した。
• パーソナライズドモデルはスタイル分析において高い精度を示し、指し手の系列の著者を強く性能で特定できた。
• モデルは個別レベルで明確な人間の意思決定パターンを捉えており、成功したパーソナライズーションを示している。
• 本アプローチにより、超人間的AIモデルを人間の行動に高精度で模倣可能であることが実証された。