[论文解读] Large-scale Analysis of Chess Games with Chess Engines: A Preliminary Report

Mathieu Acher, François Esnault|arXiv (Cornell University)|Apr 28, 2016

Sports Analytics and Performance参考文献 8被引用 14

一句话总结

本文利用 Stockfish 象棋引擎在深度 20 的条件下，对近 500 万盘棋局进行了大规模分析，通过计算网格处理了 2.7 亿个唯一局面。该工作生成了超过 1TB 的结构化引擎评估数据——相当于 50 年单机计算量——为作弊检测、技能评估及人工智能驱动的棋局分析研究提供了开放且可复现的数据集。

ABSTRACT

The strength of chess engines together with the availability of numerous chess games have attracted the attention of chess players, data scientists, and researchers during the last decades. State-of-the-art engines now provide an authoritative judgement that can be used in many applications like cheating detection, intrinsic ratings computation, skill assessment, or the study of human decision-making. A key issue for the research community is to gather a large dataset of chess games together with the judgement of chess engines. Unfortunately the analysis of each move takes lots of times. In this paper, we report our effort to analyse almost 5 millions chess games with a computing grid. During summer 2015, we processed 270 millions unique played positions using the Stockfish engine with a quite high depth (20). We populated a database of 1+ tera-octets of chess evaluations, representing an estimated time of 50 years of computation on a single machine. Our effort is a first step towards the replication of research results, the supply of open data and procedures for exploring new directions, and the investigation of software engineering/scalability issues when computing billions of moves.

研究动机与目标

• 创建一个使用先进象棋引擎的大规模、开放且可复现的象棋棋局评估数据集。
• 支持现有象棋分析研究的复现，例如内在等级分计算与错误检测。
• 探究在处理数十亿步棋评估时所面临的软件工程与可扩展性挑战。
• 通过提供开放数据与分析流程，支持新的研究方向。
• 建立一个由社区驱动的大规模象棋棋局分析基础设施。

提出的方法

• 从公开存储库中收集了 478 万份唯一的 PGN 格式象棋棋局。
• 使用基于 Java 的 PGN 解析器提取并标准化 FEN 局面，并应用 FEN 编码以检测局面相等性。
• 使用 Stockfish 象棋引擎（版本 6）通过 UCI 协议，在深度 20 且 multipv=1 的条件下进行一致评估。
• 在 IGRIDA 计算网格基础设施上实现分布式计算流水线，使用 125 个节点与 1,500 个核心进行批量处理。
• 采用关系型数据库模式结构化存储评估结果，以高效检索 FEN、引擎评分及棋局元数据。
• 通过 ECO 编码应用启发式过滤，排除已知开局局面，将唯一局面数量减少至 2.7 亿个。

实验结果

研究问题

• RQ1 能否通过现代象棋引擎与分布式计算实现大规模象棋棋局分析的实践应用？
• RQ2 在 Stockfish 中使用高深度（20）对大规模数据集中评估分数的可靠性与一致性有何影响？
• RQ3 集中式、开放的引擎评估数据库在多大程度上能提升象棋研究的可复现性？
• RQ4 在处理数十亿步棋评估时，所面临的软件工程与可扩展性挑战是什么？
• RQ5 此类数据集如何能为人类决策行为、技能评估及作弊检测提供新的洞见？

主要发现

• 团队成功利用 Stockfish 在深度 20 条件下分析了近 500 万盘棋局中的 2.7 亿个唯一局面。
• 该计算估计需要 50 年的单机处理时间，充分体现了工作的规模。
• 共生成并存储了 1.5TB 的引擎评估数据，存入结构化数据库。
• 采用基于 FEN 的去重与 ECO 编码过滤，使唯一局面数量减少超过 30%，显著提升了计算效率。
• 在 IGRIDA 网格上的分布式计算方法使处理过程得以连续、分批执行，平均使用超过 200 个核心，历时两个月。
• 最终生成的数据集为公开可用，旨在支持复现、新研究及社区贡献。