[論文レビュー] The Chess Transformer: Mastering Play using Generative Language Models

David Noever, Matthew Ciolino+1 more|arXiv (Cornell University)|Aug 2, 2020

Artificial Intelligence in Games参考文献 16被引用数 23

ひとこと要約

この論文では、ポータブル・ゲーム記法（PGN）形式の280万局のチェス対局データを用いて微調整されたGPT-2モデル、Chess Transformerを提案する。これにより、妥当で戦略的に整合性のある手を生成し、古典的オープニングを認識できるようになる。30,000ステップの学習を経た774Mパラメータのモデルは、不正手のフィルタリングとライブ対局を可能にする独自のインターフェースを通じて、人間レベルの戦略的プレイを示した。

ABSTRACT

This work demonstrates that natural language transformers can support more generic strategic modeling, particularly for text-archived games. In addition to learning natural language skills, the abstract transformer architecture can generate meaningful moves on a chessboard. With further fine-tuning, the transformer learns complex gameplay by training on 2.8 million chess games in Portable Game Notation. After 30,000 training steps, OpenAI's Generative Pre-trained Transformer (GPT-2) optimizes weights for 774 million parameters. This fine-tuned Chess Transformer generates plausible strategies and displays game formations identifiable as classic openings, such as English or the Slav Exchange. Finally, in live play, the novel model demonstrates a human-to-transformer interface that correctly filters illegal moves and provides a novel method to challenge the transformer's chess strategies. We anticipate future work will build on this transformer's promise, particularly in other strategy games where features can capture the underlying complex rule syntax from simple but expressive player annotations.

研究の動機と目的

• 生成的言語モデルがチェスのようなターン制ゲームにおける複雑な戦略的推論を学習できるかを調査すること。
• 事前学習済みトランスフォーマーをテキスト構造のゲームデータに微調整することで、意味的でルール準拠の手を生成できるかを検討すること。
• 手の妥当性を検証し、モデルと対話的に対局可能な人間向けのインターフェースを開発すること。
• 生のゲーム記法から認識可能なチェスオープニングや戦略的パターンを生成できるかを評価すること。

提案手法

• ポータブル・ゲーム記法（PGN）形式の280万局のチェス対局データを用いて、GPT-2を微調整し、チェス手の系列に適応させること。
• 774Mパラメータで30,000ステップの学習を実施し、手の予測と戦略的整合性を最適化すること。
• ライブ対局のインタラクション中にリアルタイムで不正手をフィルタリングする手の検証レイヤーを実装すること。
• モデルの自己回帰的生成機能を活用し、部分的な対局履歴から次の手を予測すること。
• モデルをポリシー・ネットワークとして用い、人間のグランドマスター級のプレイに類似した手の系列を生成すること。
• 人間の入力とモデル出力の間を接続する独自のインターフェースを設計し、文法的・ルール準拠を保証すること。

実験結果

リサーチクエスチョン

• RQ1 PGN形式のチェス対局データに微調整された生成的言語モデルは、戦略的に整合性があり、ルールに準拠した手を生成できるか？
• RQ2 モデルは、イングランドオープンやスレイブ交換といった古典的オープニングをどの程度認識し、再現できるか？
• RQ3 不正手の検証機能を備えたインターフェースを介して人間プレーヤーと対局する際、モデルの有効性はいかほどか？
• RQ4 明示的な強化学習やゲームツリー探索を用いずに、モデルは一貫性があり高水準の戦略的シーケンスを生成できるか？
• RQ5 大規模なゲーム記法コーパスでの事前学習が、ゼロショットまたはフェイントショットの戦略的一般化に与える影響は何か？

主な発見

• Chess Transformerは、イングランドオープンやスレイブ交換といった有名なチェスオープニングに対応する手を正常に生成し、戦略的パターンの認識を示した。
• 30,000ステップの学習を経たモデルは、人間のグランドマスター級のプレイに類似した一貫性があり、ルールに準拠した手の系列を示した。
• モデルの自己回帰的生成機能により、不完全な対局状況からも妥当な手の続きが生成された。
• 人間からモデルへのインターフェースは、不正手を正しくフィルタリングし、安定的かつ妥当な対局の相互作用を可能にした。
• モデルは単なるパターンマッチングをはるかに超えて、高水準のゲーム構造を内省的に把握している可能性を示した。
• 結果から、ゲーム記法に微調整された大規模言語モデルは、決定論的でルールに基づく戦略ゲームにおける効果的なポリシー・ネットワークとして機能できることを示した。