[논문 리뷰] Large-scale Analysis of Chess Games with Chess Engines: A Preliminary Report

Mathieu Acher, François Esnault|arXiv (Cornell University)|2016. 04. 28.

Sports Analytics and Performance참고 문헌 8인용 수 14

한 줄 요약

이 논문은 스톡피시 체스 엔진을 깊이 20에서 사용하여 약 500만 개의 체스 게임을 대규모로 분석한 결과를 제시한다. 이는 컴퓨팅 격자에서 2억 7천만 개의 고유한 위치를 처리한 것으로, 1테라바이트가 넘는 구조화된 엔진 평가 결과를 생성했으며, 이는 단일 기계에서 50년 치의 계산에 해당한다. 이는 도용 탐지, 기량 평가, 그리고 인공지능 기반 게임 분석 분야의 연구를 위한 개방형이고 재현 가능한 데이터셋을 제공한다.

ABSTRACT

The strength of chess engines together with the availability of numerous chess games have attracted the attention of chess players, data scientists, and researchers during the last decades. State-of-the-art engines now provide an authoritative judgement that can be used in many applications like cheating detection, intrinsic ratings computation, skill assessment, or the study of human decision-making. A key issue for the research community is to gather a large dataset of chess games together with the judgement of chess engines. Unfortunately the analysis of each move takes lots of times. In this paper, we report our effort to analyse almost 5 millions chess games with a computing grid. During summer 2015, we processed 270 millions unique played positions using the Stockfish engine with a quite high depth (20). We populated a database of 1+ tera-octets of chess evaluations, representing an estimated time of 50 years of computation on a single machine. Our effort is a first step towards the replication of research results, the supply of open data and procedures for exploring new directions, and the investigation of software engineering/scalability issues when computing billions of moves.

연구 동기 및 목표

• 최신 체스 엔진을 사용하여 대규모, 개방형, 재현 가능한 체스 게임 평가 데이터셋을 구축하기.
• 기존의 체스 분석 연구(예: 내재 평점 계산, 실수 탐지 등)의 재현 가능성을 보장하기.
• 수십억 개의 체스 수 채점 처리에서 발생하는 소프트웨어 공학 및 확장성 문제를 탐구하기.
• 개방형 데이터와 분석 절차를 제공하여 새로운 연구 방향을 지원하기.
• 대규모 체스 게임 분석을 위한 공동체 기반 인프라를 구축하기.

제안 방법

• 공개 저장소에서 478만 개의 고유한 PGN 형식 체스 게임을 수집하였다.
• 자바 기반 PGN 파서를 사용하여 FEN 위치를 추출하고 정규화하였으며, FEN 인코딩을 적용하여 위치의 동일성 여부를 확인하였다.
• 스톡피시 체스 엔진(버전 6)을 사용하여 UCI 프로토콜을 활용하고 깊이 20, multipv=1로 설정하여 일관된 평가를 수행하였다.
• 125개 노드와 1,500개의 코어를 갖춘 IGRIDA 격자 인프라 기반의 분산 컴퓨팅 파이프라인을 구현하여 배치 처리를 수행하였다.
• 관계형 데이터베이스 스키마를 구조화하여 FEN, 엔진 평가 점수, 게임 메타데이터를 효율적인 검색이 가능하도록 저장하였다.
• ECO 코드를 활용한 히우리스틱 필터링을 적용하여 잘 알려진 오프닝 위치를 제외하여 고유 위치 수를 2억 7천만 개로 감소시켰다.

실험 결과

연구 질문

• RQ1 현대 체스 엔진과 분산 컴퓨팅을 사용하여 대규모 체스 게임 분석을 실현 가능한가?
• RQ2 스톡피시에서 깊이 20를 사용할 경우, 거대한 데이터셋에서 평가 점수의 신뢰성과 일관성은 어떻게 영향을 받는가?
• RQ3 중앙집중식 개방형 데이터베이스가 체스 연구의 재현 가능성에 얼마나 기여할 수 있는가?
• RQ4 수십억 개의 체스 수 채점 처리에서 발생하는 소프트웨어 공학 및 확장성 문제는 무엇인가?
• RQ5 이러한 데이터셋은 인간의 의사결정, 기량 평가, 도용 탐지에 대한 새로운 통찰을 어떻게 제공할 수 있는가?

주요 결과

• 팀은 스톡피시를 깊이 20에서 사용하여 약 500만 개의 게임에서 2억 7천만 개의 고유한 체스 위치를 성공적으로 분석하였다.
• 이 계산에는 단일 기계에서 약 50년 치의 처리 시간이 소요되었으며, 이는 작업의 규모를 보여준다.
• 총 1.5테라바이트의 엔진 평가 데이터가 생성되어 구조화된 데이터베이스에 저장되었다.
• FEN 기반 중복 제거 및 ECO 코드 필터링을 통해 고유 위치 수가 30% 이상 감소하여 계산 효율성이 향상되었다.
• IGRADA 격자에서의 분산 컴퓨팅 방식을 통해 평균 200개 이상의 코어를 사용하여 두 달 동안 지속적이고 점진적인 처리가 가능했다.
• 결과로 생성된 데이터셋은 공개되어 있으며, 재현 가능성, 새로운 연구, 공동체 기여를 지원하도록 설계되었다.