[논문 리뷰] Giraffe: Using Deep Reinforcement Learning to Play Chess

Matthew Lai|arXiv (Cornell University)|2015. 09. 04.

Artificial Intelligence in Games참고 문헌 21인용 수 68

한 줄 요약

기린(Giraffe)은 최소한의 수동으로 코딩된 지식을 사용하여 평가 함수와 탐색 전략을 자율적으로 학습하는 체스 엔진이다. 위치 평가를 위한 딥 네ural 네트워크와 이동 확률을 추정하기 위한 두 번째 네트워크를 훈련시켜, 엔드 투 엔드 학습을 통해 국제 마스터 수준(약 2400 FIDE 등급)에 도달하였으며, 탐색 효율성에서 기존 엔진을 뛰어넘고, 미니맥스 탐색에 더 근본적인 확률 기반 접근법을 제안한다.

ABSTRACT

This report presents Giraffe, a chess engine that uses self-play to discover all its domain-specific knowledge, with minimal hand-crafted knowledge given by the programmer. Unlike previous attempts using machine learning only to perform parameter-tuning on hand-crafted evaluation functions, Giraffe's learning system also performs automatic feature extraction and pattern recognition. The trained evaluation function performs comparably to the evaluation functions of state-of-the-art chess engines - all of which containing thousands of lines of carefully hand-crafted pattern recognizers, tuned over many years by both computer chess experts and human chess masters. Giraffe is the most successful attempt thus far at using end-to-end machine learning to play chess.

연구 동기 및 목표

• 자기 대국과 딥 강화 학습을 통해 도메인 전용 지식을 전부 학습하여 수동으로 제작된 평가 함수에 의존도를 최소화하는 체스 엔진을 개발하는 것.
• 최소한의 탐색 트리 탐색에서 확률 제한 탐색이 기존의 깊이 제한 탐색을 능가하는가를 조사하는 것.
• 각 수의 최고 수일 가능성 확률을 예측하는 신경망을 설계하여 더 효율적인 탐색 트리 형상 조절을 가능하게 하는 것.
• 전문가가 튜닝한 평가 함수 없이도 엔드 투 엔드 학습이 경쟁 가능한 체스 엔진을 생성할 수 있는지 평가하는 것.
• 더 인간에 가까운 효율적인 탐색을 위해 깊이 기반 가지치기 대신 확률 기반 가지치기를 도입할 수 있는지 탐색하는 것.

제안 방법

• 자기 대국과 시간 차이 학습(TD-Leaf)을 사용하여 체스 위치 평가를 위한 딥 네ural 네트워크를 훈련시켜, 특징과 패턴을 자동으로 학습한다.
• 깊이 제한 대신 이동이 최고일 가능성이 임계값 이하로 떨어지면 탐색 분기를 중단하는 확률 제한 탐색 전략을 사용한다.
• 후보 수의 최고 수일 가능성 확률을 예측하기 위해 두 번째 신경망을 활용하여 탐색 우선순위를 정하기 위해 수를 순위 매긴다.
• 확률 기반 탐색 프레임워크 내에서 알파-베타 가지치기를 적용하여 불필요한 계산을 줄인다.
• 자기 대국 게임을 통해 훈련 데이터를 생성하고, 네트워크의 위치 평가 결과를 사용하여 학습을 부트스트랩한다.
• 시간 차이 학습과 네트워크 출력 정규화를 결합한 고유한 훈련 목표(TD-Leaf)를 사용하여 평가 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 강화 학습 시스템은 수동으로 제작된 패턴이나 히وري스틱에 의존하지 않고도 경쟁 가능한 체스 평가 함수를 학습할 수 있는가?
• RQ2 확률 제한 탐색 전략이 탐색 효율성과 전력 측면에서 기존의 깊이 제한 탐색을 능가하는가?
• RQ3 후보 수를 들여다보지 않고도 신경망이 수의 상대적 질을 정확히 예측할 수 있으며, 이는 탐색 성능 향상에 기여하는가?
• RQ4 엔드 투 엔드 학습이 체스 엔진에서 수십 년간 전문가가 튜닝한 평가 함수를 얼마나 대체할 수 있는가?
• RQ5 확률 기반 탐색이 기존 체스 엔진에서 알려진 특수한 최적화 기법들(예: 노 울드 무브 가지치기 또는 무의미한 가지치기)을 일반화할 수 있는가?

주요 결과

• 수동으로 제작된 패턴 인식 규칙 없이도, 신경망 평가 함수가 최신 체스 엔진의 수동 평가 함수와 유사한 성능을 보였다.
• 초기 비교에서 확률 제한 탐색 접근 방식이 깊이 제한 탐색을 능가하는 것으로 나타나, 최소한의 탐색에 더 근본적인 방법을 제공하는 것으로 보인다.
• 최고 수의 확률을 예측하는 네트워크가 실제 최고 수를 상위 3개 선택지 내에 포함시키는 데 70%의 비율을 기록하여 탐색 효율성이 크게 향상되었다.
• 이동 평가자로 인해 확률 기반 탐색을 이끄는 기린(Giraffe)은 FIDE 국제 마스터 수준(약 2400 FIDE 등급)에 해당하는 실력으로 경기를 펼쳤다.
• 이 시스템은 깊이 강화 학습이 인간이 설계한 지식을 최소화하여도 경쟁 가능한 체스 엔진을 생성할 수 있음을 보여주며, 게임 AI 분야에서 엔드 투 엔드 학습으로 나아가는 데 있어 중요한 발걸음이다.
• 확률 기반 탐색이 일반적으로 알려진 특수 최적화 기법들(예: 노 울드 무브 가지치기)을 일반화하고 있음을 시사하는 증거가 있으며, 더 넓은 적용 가능성을 보여준다.