[논문 리뷰] Teaching Deep Convolutional Neural Networks to Play Go

Christopher Clark, Amos Storkey|arXiv (Cornell University)|2014. 12. 10.

Artificial Intelligence in Games참고 문헌 19인용 수 13

한 줄 요약

이 논문은 가중치 연결을 통해 회전 및 반사 대칭성을 인코딩함으로써, 지도 학습을 사용하여 전문가 가드의 수를 예측하는 딥 컨volution 신경망(DCNNs)을 훈련시키는 방법을 제안한다. 결과적으로 얻어진 네트워크들은 최고 수준의 이동 예측 정확도(44.4%)를 달성하며, 몬테카를로 트리 검색(MCTS) 없이도 강력한 게임 플레이를 보이며, GNU Go를 이기고 Fuego와의 대국에서 승리함으로써 고수준의 가드 전략을 효과적으로 학습했음을 시사한다.

ABSTRACT

Mastering the game of Go has remained a long standing challenge to the field of AI. Modern computer Go systems rely on processing millions of possible future positions to play well, but intuitively a stronger and more 'humanlike' way to play the game would be to rely on pattern recognition abilities rather then brute force computation. Following this sentiment, we train deep convolutional neural networks to play Go by training them to predict the moves made by expert Go players. To solve this problem we introduce a number of novel techniques, including a method of tying weights in the network to 'hard code' symmetries that are expect to exist in the target function, and demonstrate in an ablation study they considerably improve performance. Our final networks are able to achieve move prediction accuracies of 41.1% and 44.4% on two different Go datasets, surpassing previous state of the art on this task by significant margins. Additionally, while previous move prediction programs have not yielded strong Go playing programs, we show that the networks trained in this work acquired high levels of skill. Our convolutional neural networks can consistently defeat the well known Go program GNU Go, indicating it is state of the art among programs that do not use Monte Carlo Tree Search. It is also able to win some games against state of the art Go playing program Fuego while using a fraction of the play time. This success at playing Go indicates high level principles of the game were learned.

연구 동기 및 목표

• 신경망이 높은 정확도로 전문가 가드 수를 예측할 수 있는 딥 러닝 기반 접근법을 개발하는 것.
• 네트워크 아키텍처에 가중치 연결을 통해 가드 보드의 알려진 대칭성을 인코딩하여 일반화 능력과 성능을 향상시키는 것.
• 전문가 게임 데이터로 훈련된 이동 예측 네트워크가 강력한 독립형 가드 플레이어로도 기능할 수 있는지 평가하는 것.
• 몬테카를로 트리 검색 또는 후행 탐색에 의존하지 않고도 DCNN이 고수준의 가드 전략을 어떻게 학습할 수 있는지 평가하는 것.
• 특히 저자원 환경에서, 특히 낮은 계산 자원 환경에서 가역적 딥 러닝을 사용한 가드 플레이의 가능성을 탐색하는 것.

제안 방법

• 전문가 가드 게임의 대규모 데이터셋을 기반으로 딥 컨volution 신경망을 훈련하여 다음 수를 예측하는 것.
• 회전 및 반사 대칭성을 네트워크에 강제로 구현하는 새로운 가중치 연결 기법을 도입하여 파rameter 수를 줄이고 일반화 능력을 향상시키는 것.
• 이전 수를 입력에서 제외하고 현재 보드 위치만을 입력으로 사용하여 입력 분포의 변화에 대한 강건성을 유도하는 것.
• KGS 및 GoGoD 데이터셋의 보류된 테스트 세트에서 이동 예측 정확도를 측정하여 성능을 평가하는 것.
• 훈련된 네트워크를 독립형 플레이어로 테스트하기 위해 GNU Go 및 Fuego와의 대국을 진행하고, 무한 루프를 방지하기 위해 패 시뮬레이션을 구현하는 것.
• 상대방의 스코어링 함수를 사용하여 게임을 평가하고, 표준 가드 플레이어 순위(예: 4-5 단)와 비교하여 결과를 분석하는 것.

실험 결과

연구 질문

• RQ1 전문가 수 데이터로 훈련된 딥 컨volution 신경망이 가드에서 최고 수준의 이동 예측 정확도를 달성할 수 있는가?
• RQ2 가중치 연결을 통한 대칭성 강제 적용이 이동 예측 및 일반화 성능에 상당한 영향을 미치는가?
• RQ3 지도 학습을 통해 훈련된 이동 예측 네트워크는 후행 탐색이나 MCTS 없이도 강력한 독립형 가드 플레이어로 기능할 수 있는가?
• RQ4 DCNN이 전적으로 전문가 게임에서만 학습할 경우, 얼마나 높은 수준의 가드 전략을 습득하는가?
• RQ5 네트워크 크기와 데이터 품질에 따라 성능이 어떻게 변화하는가? 더 작은 네트워크가 예측 정확도는 낮지만 게임 플레이에서는 더 뛰어난 성능을 보일 수 있는가?

주요 결과

• DCNN는 KGS 데이터셋에서 41.1%, GoGoD 데이터셋에서 44.4%의 이동 예측 정확도를 기록하여 이전 최고 성능을 초월했다.
• GoGoD 데이터셋으로 훈련된 네트워크가 KGS 데이터셋으로 훈련된 네트워크보다 성능이 뛰어났는데, 이는 GoGoD 데이터셋이 더 높은 품질의 전문가 게임을 포함하고 있기 때문으로 보인다.
• 이전 수를 입력으로 사용하지 않았음에도 불구하고 네트워크는 잘 일반화되었으며, 4-5 단 수준의 실력을 보였고, GNU Go(6-8 단)를 능가하고 Fuego(2-3 단)와의 대국에서 승리를 거두었다.
• 네트워크는 MCTS 없이도 GNU Go를 꾸준히 이기고 일부 Fuego 전에서 승리를 거두었으며, 계산 시간은 극히 적고 후행 탐색 기능도 없음에도 불구하고 성능을 냈다.
• 추상화 실험 결과, 가중치 연결이 성능 향상에 상당한 기여를 했음을 확인하여, 목표 함수에 대칭성을 인코딩하는 것이 중요하다는 것을 입증했다.
• 낮은 예측 정확도에도 불구하고 더 작은 네트워크가 성공을 거둔 것은 이전 수에 의존하지 않는 것이 실제 게임 상황에서의 일반화 능력을 향상시킬 수 있음을 시사한다.