[논문 리뷰] Multi-Labelled Value Networks for Computer Go

Ti-Rong Wu, I‐Chen Wu외 5명|arXiv (Cornell University)|2017. 05. 30.

Artificial Intelligence in Games참고 문헌 25인용 수 5

한 줄 요약

이 논문은 체기(Chuqi) 값이 여러 개인 다중라벨(ML) 가치 네트워크를 도입하여 동시에 여러 체기 값을 학습함으로써 동적 체기 조정과 평균 제곱 오차(MSE) 감소를 가능하게 한다. ML 가치 네트워크는 정책 성능을 향상시켜 표준 가치 네트워크 기반 기준 대비 67.6%의 승률을 기록하며, 이전에는 가치 네트워크 기반으로는 달성하지 못했던 핸디캡 게임에서도 강력한 수준의 플레이를 가능하게 한다.

ABSTRACT

This paper proposes a new approach to a novel value network architecture for the game Go, called a multi-labelled (ML) value network. In the ML value network, different values (win rates) are trained simultaneously for different settings of komi, a compensation given to balance the initiative of playing first. The ML value network has three advantages, (a) it outputs values for different komi, (b) it supports dynamic komi, and (c) it lowers the mean squared error (MSE). This paper also proposes a new dynamic komi method to improve game-playing strength. This paper also performs experiments to demonstrate the merits of the architecture. First, the MSE of the ML value network is generally lower than the value network alone. Second, the program based on the ML value network wins by a rate of 67.6% against the program based on the value network alone. Third, the program with the proposed dynamic komi method significantly improves the playing strength over the baseline that does not use dynamic komi, especially for handicap games. To our knowledge, up to date, no handicap games have been played openly by programs using value networks. This paper provides these programs with a useful approach to playing handicap games.

연구 동기 및 목표

• 게임 중 동적 체기 조정을 처리하는 데에 한계가 있는 단일 체기 값 네트워크의 문제를 해결하기 위해.
• 동시 다중 체기 설정에서 학습함으로써 가치 네트워크 예측의 평균 제곱 오차(MSE)를 감소시키기 위해.
• 이전에 가치 네트워크 기반 시스템에서 달성하지 못했던 컴퓨터 고(Go) 프로그램이 강력한 핸디캡 게임을 플레이할 수 있도록 하기 위해.
• 새로운 동적 체기 메커니즘을 통해 전체 게임 플레이 실력을 향상시키기 위해.

제안 방법

• ML 가치 네트워크는 공유된 백본 네트워크와 다중 출력 헤드를 사용하여 단일 순전파 프로세스에서 여러 체기 값에 대한 승률을 출력하도록 학습된다.
• 각 출력 헤드는 서로 다른 체기 설정에 대응하여, 자기 플레이 및 평가 중에 체기 값 간의 일반화를 가능하게 한다.
• 네트워크 아키텍처는 공유된 컨볼루션 특징 추출기와 각기 다른 체기 값에 대응하는 다중 완전 연결 헤드로 구성된다.
• 다중 레이블 학습 목표는 모든 체기 설정에서 동시에 MSE를 최소화함으로써 일반화 능력을 향상시키고 오차를 감소시킨다.
• 게임 중 네트워크 예측에 기반해 체기를 동적으로 조정하는 새로운 동적 체기 방법을 제안한다. 이는 적응성 향상에 기여한다.
• 탐색을 안내하고 정책 선택을 향상시키기 위해 몬테카를로 트리 검색(MCTS) 프레임워크에 이 방법을 통합한다.

실험 결과

연구 질문

• RQ1 단일 가치 네트워크 아키텍처가 동시에 여러 체기 값에 대한 승률을 효과적으로 예측할 수 있는가?
• RQ2 다중 체기 값에 대해 학습하는 것이 단일 체기 네트워크보다 평균 제곱 오차(MSE)를 감소시키는가?
• RQ3 동적 체기 조정이 플레이 실력을 향상시키며, 특히 핸디캡 게임에서 성능 향상에 기여하는가?
• RQ4 가치 네트워크를 효과적으로 활용해 강력한 핸디캡 게임을 플레이할 수 있는가? 이는 이전에 달성하지 못한 목표였다.
• RQ5 ML 가치 네트워크가 표준 가치 네트워크 기반 기준 대비 측정 가능한 승률 향상을 이끌어내는가?

주요 결과

• ML 가치 네트워크는 모든 체기 설정에서 표준 가치 네트워크보다 낮은 평균 제곱 오차(MSE)를 기록했다.
• ML 가치 네트워크를 사용한 프로그램은 단일 체기 가치 네트워크를 사용하는 기준 프로그램과의 대결에서 67.6%의 승률을 기록했다.
• 제안된 동적 체기 방법은 특히 핸디캡 게임에서 플레이 실력을 크게 향상시켰으며, 이전에는 가치 네트워크 기반 프로그램이 성공하지 못했던 분야였다.
• ML 가치 네트워크를 통해 가치 네트워크 기반으로는 처음으로 오픈 플레이 핸디캡 게임이 가능해졌으며, 실용적 타당성을 입증했다.
• 아키텍처가 동시에 여러 체기 값을 예측할 수 있는 능력 덕분에 일반화 능력이 향상되고, 단일 체기 설정에 대한 과적합이 감소했다.