[논문 리뷰] Scaling Scaling Laws with Board Games

Andrew Jones|arXiv (Cornell University)|2021. 04. 07.

Artificial Intelligence in Games참고 문헌 39인용 수 8

한 줄 요약

이 논문은 AlphaZero를 사용하여 소규모 실험에서 유추할 수 있음을 보여줌으로써 기계학습의 스케일링 법칙을 확장한다. 더 큰, 더 복잡한 문제—특히 크기가 증가하는 헥스 보드 게임—에 대한 성능을 예측할 수 있다. 주요 발견은 계산 자원 요구량이 모델 크기와 보드 크기 양쪽 모두에 대해 지수적으로 증가하며, 훈련 시간과 테스트 시간의 계산 자원을 로그 공간에서 선형적으로 상호 교환할 수 있다는 것이다. 이는 직접 훈련 없이도 매우 큰 문제에 대한 성능을 정확하게 외삽할 수 있음을 의미한다.

ABSTRACT

The largest experiments in machine learning now require resources far beyond the budget of all but a few institutions. Fortunately, it has recently been shown that the results of these huge experiments can often be extrapolated from the results of a sequence of far smaller, cheaper experiments. In this work, we show that not only can the extrapolation be done based on the size of the model, but on the size of the problem as well. By conducting a sequence of experiments using AlphaZero and Hex, we show that the performance achievable with a fixed amount of compute degrades predictably as the game gets larger and harder. Along with our main result, we further show that the test-time and train-time compute available to an agent can be traded off while maintaining performance.

연구 동기 및 목표

• 스케일링 법칙이 모델 크기 외에도 문제 크기, 예를 들어 게임의 보드 복잡성 증가와 같은 문제 크기로 일반화될 수 있는지 조사하기.
• 작은 헥스 보드에서의 성능이 훨씬 더 큰 보드에서의 성능을 예측할 수 있는지 확인하기.
• 강화학습 에이전트에서 훈련 시간과 테스트 시간의 계산 자원 간의 상호 교환 관계를 탐색하기.
• 문제 크기와 계산 자원 양쪽 모두에서 성능 스케일링의 부드럽고 예측 가능한 성격을 검증하기.

제안 방법

• 고정된 계산 자원 예산을 사용하여 다양한 크기의 헥스 보드(9×9에서 64×64까지)에서 AlphaZero 에이전트를 훈련시어 성능 데이터를 수집하였다.
• 각 보드 크기에 대해 계산 자원과 성능(에이로 등수)을 연결하는 계산 프론티어(함수)를 피팅하였으며, 계산 자원과 보드 크기 양쪽 모두에 대해 지수적 스케일링을 보여주었다.
• 소규모 보드 실험 데이터를 사용하여 대규모 보드의 계산 프론티어를 외삽하였으며, 더 많은 소규모 보드 데이터를 포함할수록 예측 정확도가 지수적으로 향상됨을 입증하였다.
• 테스트 시간 트리 탐색 크기(1에서 512개 노드까지)를 변화시켜 성능 향상을 측정하였으며, 이는 테스트 시간 계산 자원과의 시그모이드 관계를 드러냈다.
• 훈련 시간 계산 자원을 체계적으로 조정하고 테스트 시간 성능를 측정하여 두 계산 단계 간의 상호 교환 관계를 정량화하였다.
• 고정된 강도의 상대와의 대결을 통해 에이로 등수 체계를 적용하여 에이전트 성능 평가를 수행하였으며, 이는 다양한 모델 변형 간 일관된 비교를 가능하게 하였다.

실험 결과

연구 질문

• RQ1 기존에 모델 크기 기반 성능 예측에만 적용된 스케일링 법칙이, 보드 복잡성 증가와 같은 문제 크기로 일반화될 수 있는가?
• RQ2 소규모 보드 실험 데이터만을 사용하여 대규모 헥스 보드의 계산 프론티어를 얼마나 정확하게 예측할 수 있는가?
• RQ3 딥 강화학습 에이전트에서 훈련 시간과 테스트 시간의 계산 자원 간 상호 교환 관계는 무엇이며, 이는 예측 가능한 패턴을 따르는가?
• RQ4 성능가 계산 자원과 보드 크기 증가에 따라 매끄럽고 예측 가능한 방식으로 스케일링되는가, 아니면 학습의 본질적 변화를 암시하는 불연속성 또는 '피크'가 존재하는가?
• RQ5 훈련 시간과 테스트 시간 계산 자원 간의 관계는 로그 공간에서 선형적인가, 그리고 이는 총 계산 자원 비용을 줄이는 데 활용될 수 있는가?

주요 결과

• AlphaZero 에이전트의 헥스 성능는 계산 자원과 보드 크기 양쪽 모두에 대해 지수적 스케일링 법칙을 따르며 예측 가능하게 스케일링된다.
• 예를 들어 9×9 보드에서 피팅한 계산 프론티어가 64×64 보드의 성능을 정확하게 예측할 수 있으며, 피팅에 포함된 소규모 보드 데이터가 많을수록 예측 오차가 지수적으로 감소한다.
• 훈련 시간 계산 자원이 각각 10배 증가할 때마다, 동일한 성능를 유지하기 위해 테스트 시간 계산 자원을 유사한 비율로 감소시킬 수 있으며, 이는 로그 공간에서 선형 상호 교환 관계를 의미한다.
• 테스트 시간 성능는 트리 탐색 크기 증가에 따라 시그모이드 곡선을 따라 증가하며, 이는 작은 테스트 시간 계산 자원으로도 상당한 성능 향상을 얻을 수 있음을 보여준다.
• 계산 자원이나 보드 크기 증가에 따라 성능에 피크나 불연속성이 나타나지 않아, 모든 테스트 구성에서 매끄럽고 연속적인 스케일링 행동을 보였다.
• 관측된 스케일링 행동은 각 에이전트가 계산 자원 비례로 무작위 전략을 선택하는 단순한 모델과 매우 유사하며, 이는 성능가 보다 복잡한 내부 추론이 아닌 가용 전략 풀에서 결정된다는 것을 암시한다.