[논문 리뷰] Hyper-Parameter Sweep on AlphaZero General

Hui Wang, Michael Emmerich외 2명|arXiv (Cornell University)|2019. 03. 19.

Artificial Intelligence in Games참고 문헌 24인용 수 8

한 줄 요약

이 논문은 6×6 올리기에서 훈련 손실, 엘로 등수, 시간 비용을 고려해 알파제로제너럴의 체계적인 초기화수치 스윕을 수행하며, 훈련 손실, 엘로 점수, 시간 비용을 기준으로 12개의 핵심 파라미터를 평가한다. 시간 민감도가 높은 파라미터와 시간 친화적인 파라미터를 식별하고, 비단조화적인 성능 추세(예: 최대값을 초월한 최적값 존재)를 드러내며, 알파제로 기반 에이전트의 초기화수치 최적화를 위한 데이터 기반 기초를 제공한다.

ABSTRACT

Since AlphaGo and AlphaGo Zero have achieved breakground successes in the game of Go, the programs have been generalized to solve other tasks. Subsequently, AlphaZero was developed to play Go, Chess and Shogi. In the literature, the algorithms are explained well. However, AlphaZero contains many parameters, and for neither AlphaGo, AlphaGo Zero nor AlphaZero, there is sufficient discussion about how to set parameter values in these algorithms. Therefore, in this paper, we choose 12 parameters in AlphaZero and evaluate how these parameters contribute to training. We focus on three objectives~(training loss, time cost and playing strength). For each parameter, we train 3 models using 3 different values~(minimum value, default value, maximum value). We use the game of play 6$ imes$6 Othello, on the AlphaZeroGeneral open source re-implementation of AlphaZero. Overall, experimental results show that different values can lead to different training results, proving the importance of such a parameter sweep. We categorize these 12 parameters into time-sensitive parameters and time-friendly parameters. Moreover, through multi-objective analysis, this paper provides an insightful basis for further hyper-parameter optimization.

연구 동기 및 목표

• 알파제로 및 관련 알고리즘에서 체계적인 초기화수치 튜닝 가이드라인이 부족한 점을 보완하기 위해, 특히 원래 딥마인드 발표 자료에 잘 문서화되어 있지 않은 초기화수치에 대해 다룬다.
• 12개의 핵심 초기화수치가 훈련 손실, 전력 수준(엘로 점수), 계산 시간 비용이라는 세 가지 핵심 목표에 미치는 영향을 평가한다.
• 훈련 기간에 미치는 영향을 기반으로 파라미터를 시간 민감도가 높은 것과 시간 친화적인 것으로 분류함으로써, 더 효율적인 최적화 전략 수립을 가능하게 한다.
• 알파제로제너럴의 초기화수치 선택을 위한 데이터 기반 실증적 기초를 제공하며, 다른 게임 및 과제로의 적용 가능성을 높인다.

제안 방법

• 연구는 알파제로의 경량 오픈소스 재현체인 알파제로제너럴을 사용하여, 각 파라미터당 3개의 모델을 훈련시킨다. 각 파라미터는 최소값, 기본값, 최댓값을 사용한다.
• 모든 실험은 하나의 파라미터만 변경하고 나머지는 기본값으로 유지함으로써 통제된 평가를 보장한다.
• 세 가지 평가 지표를 사용한다: 1000단계 동안의 평균 훈련 손실, 1000판 후의 최종 엘로 점수, 총 훈련 시간(시간 단위).
• 경험적으로 시간 비용 함수를 유도한다(식 2), 이를 통해 각 파라미터 설정에 따른 계산 오버헤드를 정량화한다.
• 훈련 기간에 미치는 영향을 기반으로 파라미터를 시간 민감도가 높은 것과 시간 친화적인 것으로 분류하고, 성능 추세에 대한 통계 분석을 수행한다.
• 다중목표 분석을 통해 손실 감소, 실력 향상, 효율성 간 균형을 이룬 파라미터 조합을 식별한다.

실험 결과

연구 질문

• RQ1 12개의 초기화수치가 알파제로제너럴의 훈련 손실, 엘로 점수, 시간 비용에 어떻게 영향을 미치는가?
• RQ2 시간 민감도가 높은 파라미터(훈련 시간에 크게 영향을 주는)와 시간 친화적인 파라미터(시간에 거의 영향을 주지 않는)는 각각 무엇인가?
• RQ3 파라미터 값을 늘일수록 성능이 항상 향상되는가, 아니면 성능이 악화되는 지점이 존재하는가?
• RQ4 다중목표 분석을 통해 훈련 효율성, 손실 감소, 실력 향상 간 균형을 이룬 파라미터 설정을 식별할 수 있는가?
• RQ5 훈련 손실 최소화, 엘로 점수 최대화, 시간 비용 감소를 위한 가장 유망한 초깃값 설정은 무엇인가?

주요 결과

• 각 수기의 MCTS 시뮬레이션 수를 나타내는 파라미터 'mctssimu'는 엘로 점수에 강력한 정적 영향을 미치며, 200회 시뮬레이션 설정에서 최고의 성능을 기록하지만, 이는 시간 비용을 크게 증가시킨다.
• 훈련 단계당 자가대전 게임 수를 나타내는 'iteration' 파라미터는 성능과 비단조화적인 관계를 보인다. 기본값인 100이 손실과 엘로 점수 간 최적의 균형을 이룬 반면, 높은 값(예: 200)은 성능을 떨어뜨린다.
• 'batchsize' 파라미터는 시간 비용과 강한 음의 상관관계를 보인다. 더 큰 배치 크기(예: 64)는 더 작은 크기(예: 32)보다 훈련 시간을 16% 감소시켜, 매우 시간 민감도가 높은 파라미터로 간주된다.
• 신경망 정책을 업데이트할 시점을 제어하는 'updateThreshold' 파라미터는 0.6에서 엘로 점수 최고치를 기록하며, 이는 높은 값으로 갈수록 성능이 항상 향상되는 것이 아니며, 비단조화적인 최적값이 존재함을 시사한다.
• 'Cpuct', 'learningrate', 'dropout', 'tempThreshold'와 같은 파라미터는 훈련 기간에 미치는 영향이 미미하므로 시간 친화적인 것으로 분류되며, 성능 향상을 위한 안전한 튜닝이 가능하다.
• 아레나 비교에 사용되는 'arenacompare' 파라미터(아레나 비교 게임 수)는 엘로 점수와 시간 비용에 거의 영향을 주지 않아, 성능 또는 효율성의 트레이드오프 없이 자유롭게 튜닝할 수 있음을 시사한다.