[논문 리뷰] The Chess Transformer: Mastering Play using Generative Language Models

David Noever, Matthew Ciolino외 1명|arXiv (Cornell University)|2020. 08. 02.

Artificial Intelligence in Games참고 문헌 16인용 수 23

한 줄 요약

이 논문은 포트러블 게임 노테이션(PGN) 형식으로 280만 개의 체스 게임을 훈련 데이터로 사용한 체스 트랜스포머(Chess Transformer)를 제안한다. 이 모델은 합리적이고 전략적으로 일관된 체스 수를 생성하고 고전적인 전개를 인식할 수 있도록 훈련되며, 3만 번의 훈련 스텝을 거친 후 7억 7,400만 파라미터 모델은 불법 수를 필터링하고 실시간으로 대국을 가능하게 하는 새로운 인터페이스를 통해 인간 수준의 전략적 플레이를 보여준다.

ABSTRACT

This work demonstrates that natural language transformers can support more generic strategic modeling, particularly for text-archived games. In addition to learning natural language skills, the abstract transformer architecture can generate meaningful moves on a chessboard. With further fine-tuning, the transformer learns complex gameplay by training on 2.8 million chess games in Portable Game Notation. After 30,000 training steps, OpenAI's Generative Pre-trained Transformer (GPT-2) optimizes weights for 774 million parameters. This fine-tuned Chess Transformer generates plausible strategies and displays game formations identifiable as classic openings, such as English or the Slav Exchange. Finally, in live play, the novel model demonstrates a human-to-transformer interface that correctly filters illegal moves and provides a novel method to challenge the transformer's chess strategies. We anticipate future work will build on this transformer's promise, particularly in other strategy games where features can capture the underlying complex rule syntax from simple but expressive player annotations.

연구 동기 및 목표

• 생성형 언어 모델이 체스와 같은 턴제 게임에서 복잡한 전략적 사고를 학습할 수 있는지 탐구하는 것.
• 사전 훈련된 트랜스포머 모델이 텍스트 기반 게임 데이터에 대해 피니튜닝되어 의미 있고 규칙에 부합하는 수를 생성할 수 있는지 조사하는 것.
• 이동 검증 기능을 갖춘 인간-모델 인터페이스를 개발하여 모델과의 상호작용 가능한 게임 플레이를 가능하게 하는 것.
• 원시 게임 노트레이션에서 인식 가능한 체스 전개와 전략적 패턴을 생성할 수 있는 모델의 능력을 평가하는 것.

제안 방법

• 체스 수 순서에 맞게 적응시키기 위해 포트러블 게임 노테이션(PGN) 형식의 280만 개의 체스 게임에 GPT-2를 피니튜닝하는 것.
• 7억 7,400만 개의 파라미터를 사용해 3만 번의 스텝 동안 훈련하여 수 예측과 전략적 일관성을 최적화하는 것.
• 실시간으로 대국 상호작용 중에 불법 수를 필터링하는 이동 검증 레이어를 구현하는 것.
• 부분적인 게임 이력에서 모델의 자동 회귀 생성 기능을 활용해 게임 순서에서 다음 수를 예측하는 것.
• 모델을 정책 네트워크로 활용하여 인간의 세계 마스터 수준의 플레이를 닮은 수 순서를 생성하는 것.
• 구문적 및 규칙 준수를 보장하는 인간 입력과 모델 출력을 연결하는 새로운 인터페이스를 설계하는 것.

실험 결과

연구 질문

• RQ1 PGN 형식의 체스 게임에 대해 피니튜닝된 생성형 언어 모델이 전략적으로 타당하고 규칙에 부합하는 수를 생성할 수 있는가?
• RQ2 모델은 영국 전개나 슬라브 교환 전개와 같은 고전적인 체스 전개를 어느 정도 인식하고 재현할 수 있는가?
• RQ3 이동 검증 기능을 갖춘 인터페이스를 통해 인간 플레이어와의 실시간 대국에서 모델의 효과는 어떠한가?
• RQ4 명시적 강화 학습이나 게임 트리 탐색 없이도 모델은 일관되고 고수준의 전략적 순서를 생성할 수 있는가?
• RQ5 대규모 게임 노트레이션 코퍼스에 대한 사전 훈련이 게임에서 제로샷 또는 피처샷 전략 일반화에 어떤 영향을 미치는가?

주요 결과

• 체스 트랜스포머는 영국 전개나 슬라브 교환 전개와 같은 잘 알려진 체스 전개를 성공적으로 생성하여 전략적 패턴을 인식한 것으로 나타났다.
• 3만 번의 훈련 스텝을 거친 후, 모델는 인간 세계 마스터 수준의 플레이를 닮은 일관되고 규칙에 부합하는 수 순서를 보여주었다.
• 모델의 자동 회귀 생성 기능은 완전하지 않은 게임 위치에서도 합리적인 수 연속을 생성할 수 있었다.
• 인간-트랜스포머 인터페이스는 불법 수를 정확히 필터링하여 안정적이고 유효한 게임 플레이 상호작용을 가능하게 했다.
• 모델는 단순한 패턴 매칭을 넘어서 고수준의 게임 구조를 내재화한 것으로 보이는 전략적 일관성을 보였다.
• 결과적으로, 게임 노트레이션에 대해 피니튜닝된 대규모 언어 모델는 결정론적이고 규칙 기반 전략 게임에서 효과적인 정책 네트워크로 활용될 수 있음을 시사한다.