[논문 리뷰] KnightCap: A chess program that learns by combining TD(lambda) with game-tree search

Jonathan Baxter, Andrew Tridgell외 1명|ArXiv.org|1999. 01. 10.

Artificial Intelligence in Games참고 문헌 9인용 수 15

한 줄 요약

이 논문은 온라인 전투 중 최소화 탐색 트리의 리프 노드에서 학습함으로써 체스 프로그램의 평가 함수를 훈련하는 새로운 시간 차분 학습 알고리즘인 TDLeaf(λ)를 소개한다. KnightCap는 TDLeaf(λ)를 사용하여 3일 만에 인터넷 체스 서버(FICS 및 ICC)에서 실제 인간과 컴퓨터 상대와의 전투를 통해 308판의 게임 동안 1650에서 2150 등급으로 향상되었으며, 이는 체스와 같은 결정론적 게임에서 온라인 비자기 전략 학습의 효과를 입증한다.

ABSTRACT

In this paper we present TDLeaf(lambda), a variation on the TD(lambda) algorithm that enables it to be used in conjunction with game-tree search. We present some experiments in which our chess program ``KnightCap'' used TDLeaf(lambda) to learn its evaluation function while playing on the Free Internet Chess Server (FICS, fics.onenet.net). The main success we report is that KnightCap improved from a 1650 rating to a 2150 rating in just 308 games and 3 days of play. As a reference, a rating of 1650 corresponds to about level B human play (on a scale from E (1000) to A (1800)), while 2150 is human master level. We discuss some of the reasons for this success, principle among them being the use of on-line, rather than self-play.

연구 동기 및 목표

• 시간 차분 학습을 이용해 체스와 같은 결정론적이고 깊은 탐색이 필요한 게임에서 효과적인 평가 함수를 훈련하는 데 도전한다.
• 자기 전략 학습의 한계를 극복하여 반복적이고 다각도가 없는 게임 시퀀스와 일반화 능력 부족을 방지한다.
• 체스 프로그램을 위한 강화 학습에서 탐색을 향상시키고 수렴 속도를 높이기 위해 온라인 실전 상대 학습을 가능하게 하는 방법을 개발한다.
• 실제 인간과 컴퓨터 상대와의 다양한 상대 전략에서 학습하는 것이 자가 전략 학습보다 더 빠르고 고급 수준의 정책 향상 결과를 낳는가를 조사한다.

제안 방법

• TDLeaf(λ)는 시간 차분 학습의 일반화로, 게임 상태가 아니라 최소화 탐색 트리의 주요 변동 경로(Principal Variation)의 리프 노드 기반으로 평가 함수를 업데이트한다.
• 알고리즘은 리프 위치의 평가에 대해 시간 차분 업데이트를 적용하고, 유인성 트레이스를 사용해 보상을 역전파하여 특징 가중치를 효율적으로 갱신한다.
• KnightCap의 선형 평가 함수는 온라인 게임 중 실시간으로 훈련되며, 각 게임 후 주요 변동 경로의 리프 노드에 대해 TD(λ) 업데이트 규칙을 적용해 가중치를 조정한다.
• 시스템은 복잡한 위치적 특징을 계산하기 위해 풍부한 기물 배치 표현을 사용하여, 느린 계산에도 불구하고 고품질의 평가를 가능하게 한다.
• 학습은 공개 서버(FICS 및 ICC)에서 실제 전투를 통해 이루어지며, KnightCap는 다양하고 중복되지 않는 상대 전략에 노출된다.
• 실제 상대의 플레이가 유도하는 탐색을 활용해 조기 수렴 문제를 방지하며, 다양한 정보를 갖춘 게임 상태를 제공한다.

실험 결과

연구 질문

• RQ1 자기 전략 학습이 빈약한 탐색을 유도하는 결정론적 체스와 같은 보드 게임에서 시간 차분 학습이 깊은 최소화 탐색에 효과적으로 적용될 수 있는가?
• RQ2 실제 인간과 컴퓨터 상대와의 온라인 학습이 체스 평가 함수 훈련에서 자가 전략 학습보다 더 빠르고 우수한 수렴 성능을 보일 수 있는가?
• RQ3 TD(λ)-기반 평가 함수에서 초기 가중치 값의 선택이 학습 속도와 품질에 어떤 영향을 미치는가?
• RQ4 λ 매개변수는 학습 중 즉각적인 보상 예측과 장기적 가치 추정 간의 균형을 어떻게 조절하는가?
• RQ5 TDLeaf(λ)를 통해 훈련된 선형 평가 함수는 상대적으로 적은 수의 게임으로 마스터 수준의 성능을 달성할 수 있는가?

주요 결과

• KnightCap는 FICS에서의 온라인 전투를 통해 3일 동안 308판의 게임을 진행하면서 1650 등급(인간 B급 수준)에서 2150 등급(마스터 수준)으로 향상되었다.
• 자기 전략 실험과 비교해 성능 향상 속도가 뚜렷이 빠르며, 600판 이후 FICS 훈련 버전과의 대국에서 승률이 단 11%에 그쳤다.
• 초기 가중치를 0으로 설정한 상태에서 짧은 시간 내에 500점의 등급 상승을 달성하여 실전 상대와의 학습이 매우 높은 학습 효율성을 보임을 시사한다.
• 초기 가중치를 폰의 가치(1250 등급)로 설정한 경우, 1000판 이후에도 약 1550 등급으로만 향상되어 좋은 초기 조건의 중요성을 강조한다.
• 자기 전략 학습이 아닌 온라인 전투를 통해 더 풍부하고 다양한 경험을 확보함으로써 결정론적 게임에서 내재된 탐색 문제를 효과적으로 해결하였다.
• TDLeaf(λ)는 깊은 신경망 없이도 실전 상대와의 상호작용을 통해 복잡한 위치적 특징을 학습하고 마스터 수준의 성능을 달성하는 데 성공했다.