[논문 리뷰] Bayesian Optimization in AlphaGo

Yutian Chen, Aja Huang외 5명|arXiv (Cornell University)|2018. 12. 17.

Embedded Systems Design Techniques참고 문헌 4인용 수 78

한 줄 요약

본 논문은 베이지안 최적화가 AlphaGo의 게임 플레이 하이퍼파라미터를 자동으로 조정하는 데 어떻게 정기적으로 사용되었는지 문서화하고, 여러 개발 과제에서 상당한 실력 향상과 통찰을 제시한다.

ABSTRACT

During the development of AlphaGo, its many hyper-parameters were tuned with Bayesian optimization multiple times. This automatic tuning process resulted in substantial improvements in playing strength. For example, prior to the match with Lee Sedol, we tuned the latest AlphaGo agent and this improved its win-rate from 50% to 66.5% in self-play games. This tuned version was deployed in the final match. Of course, since we tuned AlphaGo many times during its development cycle, the compounded contribution was even higher than this percentage. It is our hope that this brief case study will be of interest to Go fans, and also provide Bayesian optimization practitioners with some insights and inspiration.

연구 동기 및 목표

• 개발 중에 베이지안 최적화가 AlphaGo의 게임 플레이 하이퍼파라미터를 어떻게 조정하는 데 사용되었는지 입증한다.
• 자동 튜닝이 플레이 강도에 미치는 영향을 정량화하고 파라미터 기여도에 대한 통찰을 제공한다.
• 잡음이 많고 비용이 큰 평가에서의 실용적 고려사항과 함께 모델, 획득 함수 등을 포함한 최적화 방법론을 설명한다.
• 작업별 튜닝 결과와 반복 및 하드웨어 변경에 따른 성능 향상을 선보인다.

제안 방법

• 입력 왜곡을 사용하는 미지의 승률 함수 p(theta)에 대해 가우시안 프로세스 사전(priors)을 사용한다.
• 탐색과 활용의 균형을 맞추기 위해 기대 개선(Expected Improvement) 획득 함수를 사용하여 최적화한다.
• 베르누이 자가 대국 결과에서 관측 노이즈를 비정상적(nonstationary) 가우시안 노이즈 모델로 모델링하고, 50경기 평가에서 추정한다.
• 비분화성과 높은 평가 비용을 다루어 그리드 탐색보다 베이지안 최적화를 정당화한다.
• 수정된 Spearmint 프레임워크와 새로운 자가 대국 결과로 GP를 업데이트하는 순차적 튜닝 절차를 구현한다.
• 개별 하이퍼파라미터 또는 페어의 민감도를 평가하고 영향 요인을 식별하기 위한 시각화 도구를 제공한다.

실험 결과

연구 질문

• RQ1 베이지안 최적화가 자가 대국 평가에서 AlphaGo의 승률을 향상시키는 하이퍼파라미터 설정을 신뢰할 수 있게 식별할 수 있는가?
• RQ2 전체 플레이 강도에 대한 서로 다른 하이퍼파라미터 그룹의 상대적 기여도는 무엇인가(예: MCTS, 롤아웃 대 가치 네트워크, 시간 제어)?
• RQ3 자동 하이퍼파라미터 설정은 반복 및 하드웨어(GPU 대 TPU) 간에 수동으로 조정된 기준선과 어떻게 비교되는가?
• RQ4 혼합 비율 및 시간 제어와 같은 동적 구성 요소를 베이지안 최적화를 통해 효과적으로 발견하고 개선할 수 있는가?

주요 결과

• 베이지안 최적화는 Lee Sedol 대국 전에 최종 튜닝에서 AlphaGo의 자체 대국 승률을 50%에서 66.5%로 올렸다.
• 설계 반복에 걸쳐 MCTS 하이퍼파라미터가 승률을 각각 63.2%와 64.4% 향상시켰고, 이는 각각 94 Elo 및 103 Elo 상승에 해당한다.
• 자동 튜닝은 단일 파라미터 조정 이상의 개선을 가져왔고, 수작업으로 발견하기 어려운 파라미터 간 상관관계도 드러냈다.
• 튜닝은 후반 설계에서 롤아웃보다 가치 네트워크 기반 추정으로 선호를 옮기는 등의 통찰을 제공했고, 이는 이후 버전(GO Zero 등)에 영향을 미쳤다.
• 짧은 탐색 시간으로 빠른 데이터 생성 플레이어를 튜닝한 결과 상당한 Elo 상승을 가져왔고(예: 네 가지 주요 버전에서 300, 285, 145, 129).
• 최적화로 발견된 동적 혼합 비율 공식 및 시간 제어 전략은 수 순서 의존성(예: 수 150전후의 정점)과 유의미한 성능 향상(예: 새로운 시간 제어로 66.5% 승률)을 보여주었다.