[論文レビュー] Large-scale Analysis of Chess Games with Chess Engines: A Preliminary Report

Mathieu Acher, François Esnault|arXiv (Cornell University)|Apr 28, 2016

Sports Analytics and Performance参考文献 8被引用数 14

ひとこと要約

この論文では、Stockfishチェスエンジンを深さ20で使用し、約500万局のチェス対局を大規模に分析した。計算グリッドを活用して、2億7000万個のユニークな局面を処理した。この作業により、1テラバイトを超える構造化されたエンジン評価データが生成され、1台のマシンで50年分に相当する計算量に相当する。このオープンで再現可能なデータセットは、不正対策、スキル評価、およびAI駆動の対局分析に関する研究に貢献する。

ABSTRACT

The strength of chess engines together with the availability of numerous chess games have attracted the attention of chess players, data scientists, and researchers during the last decades. State-of-the-art engines now provide an authoritative judgement that can be used in many applications like cheating detection, intrinsic ratings computation, skill assessment, or the study of human decision-making. A key issue for the research community is to gather a large dataset of chess games together with the judgement of chess engines. Unfortunately the analysis of each move takes lots of times. In this paper, we report our effort to analyse almost 5 millions chess games with a computing grid. During summer 2015, we processed 270 millions unique played positions using the Stockfish engine with a quite high depth (20). We populated a database of 1+ tera-octets of chess evaluations, representing an estimated time of 50 years of computation on a single machine. Our effort is a first step towards the replication of research results, the supply of open data and procedures for exploring new directions, and the investigation of software engineering/scalability issues when computing billions of moves.

研究の動機と目的

• 最先端のチェスエンジンを用いて、大規模でオープンかつ再現可能なチェス対局評価データセットの構築を目的とする。
• チェス分析分野における既存研究の再現を可能にする。具体的には、内在的レーティングの算出やミス検出に関する研究を想定する。
• 数十億のチェス手の評価を処理するにあたり、ソフトウェア工学的およびスケーラビリティ上の課題を調査することを目的とする。
• オープンなデータと分析手順を提供することで、新たな研究分野の促進を図ることを目的とする。
• 大規模なチェス対局分析を支える、コミュニティ主導のインfra構築を目的とする。

提案手法

• パブリックリポジトリから478万件のユニークなPGN形式のチェス対局を収集した。
• JavaベースのPGNパーサーを用いて局面を抽出・正規化し、FENエンコーディングを適用して局面の同一性を特定した。
• Stockfishチェスエンジン（バージョン6）を、UCIプロトコルに従い、深さ20、multipv=1で実行し、一貫性のある評価を実現した。
• IGRIDAグリッドインfraストラクチャ上に125ノード・1500コアを活用した分散コンピューティングパイプラインを構築し、バッチ処理を実施した。
• FEN、エンジンスコア、対局メタデータを効率的に取得できるように、リレーショナルデータベーススキーマに評価結果を構造化して格納した。
• ECOコードを用いたヒューリスティックフィルタリングを適用し、有名なオープニング局面を除外することで、ユニークな局面数を2億7000万に削減した。

実験結果

リサーチクエスチョン

• RQ1 現代のチェスエンジンと分散コンピューティングを用いて、大規模なチェス対局分析を実用的に行うことができるか？
• RQ2 Stockfishで深さ20を使用した場合、大規模なデータセット全体にわたり、評価スコアの信頼性と一貫性にどのような影響を与えるか？
• RQ3 集中型でオープンなエンジン評価データベースは、チェス研究の再現性をどの程度向上させることができるか？
• RQ4 数十億のチェス手の評価を処理するにあたり、ソフトウェア工学的およびスケーラビリティ上の課題は何か？
• RQ5 このようなデータセットは、人間の意思決定、スキル評価、不正対策に関する新たな知見をどのように可能にするか？

主な発見

• チームは、Stockfishを深さ20で使用し、約500万局の対局から2億7000万個のユニークなチェス局面を正常に分析した。
• この計算には、1台のマシンで50年分に相当する処理時間が要された。これは、この作業の規模の大きさを示している。
• 合計1.5テラバイトのエンジン評価データが生成され、構造化されたデータベースに格納された。
• FENベースの重複削除とECOコードによるフィルタリングにより、ユニークな局面数が30％以上削減され、計算効率が向上した。
• IGRIDAグリッド上の分散コンピューティングアプローチにより、平均200コア以上を活用し、2か月間にわたり継続的かつ段階的な処理が可能になった。
• 得られたデータセットは公開されており、再現性の確保、新たな研究、コミュニティの貢献を支援するように設計されている。