[論文レビュー] Scaling Scaling Laws with Board Games

Andrew Jones|arXiv (Cornell University)|Apr 7, 2021

Artificial Intelligence in Games参考文献 39被引用数 8

ひとこと要約

この論文は、AlphaZeroを用いて小規模な実験から、サイズが大きくなり、複雑性が増す問題—特にサイズが増加するヘックスチェス盤ゲーム—における性能を予測できるように、機械学習におけるスケーリング法則を拡張している。主な発見は、計算リソースの要件がモデルサイズおよび盤面サイズの両方に関して指数関数的に増加することであり、訓練時の計算量と推論時の計算量を対数空間内で線形にトレードオフできることを示しており、直接的なトレーニングなしに、はるかに大きな問題に対する性能の正確な外挿が可能になる。

ABSTRACT

The largest experiments in machine learning now require resources far beyond the budget of all but a few institutions. Fortunately, it has recently been shown that the results of these huge experiments can often be extrapolated from the results of a sequence of far smaller, cheaper experiments. In this work, we show that not only can the extrapolation be done based on the size of the model, but on the size of the problem as well. By conducting a sequence of experiments using AlphaZero and Hex, we show that the performance achievable with a fixed amount of compute degrades predictably as the game gets larger and harder. Along with our main result, we further show that the test-time and train-time compute available to an agent can be traded off while maintaining performance.

研究の動機と目的

• スケーリング法則がモデルサイズに限定されてきたのを、盤面の複雑性の増加といった問題サイズへ拡張できるかを調査すること。
• 小さなヘックス盤における性能が、はるかに大きな盤面における性能を予測できるかを特定すること。
• 強化学習エージェントにおける訓練時の計算量と推論時の計算量のトレードオフを調査すること。
• 問題サイズおよび計算量の両方において、性能のスケーリングが滑らかで予測可能であるかを検証すること。

提案手法

• 固定された計算リソース予算を用いて、9×9から64×64までのさまざまなサイズのヘックス盤でAlphaZeroエージェントを訓練し、性能データを収集した。
• 各盤面サイズに対して、計算量から性能（Eloレーティング）へのマッピング関数である計算フロントラインをフィッティングし、計算量および盤面サイズの両方に関して指数関数的スケーリングが成立することを示した。
• 小規模な盤面での実験データを用いて、大規模な盤面の計算フロントラインを外挿し、小規模な盤面データを増やすほど精度が向上することを実証した。
• テスト時の木探索サイズ（1から512ノードまで）を変化させ、性能向上の度合を測定した。その結果、テスト時の計算量と性能の間にシグモイド的関係があることが明らかになった。
• 訓練時の計算量を系統的に変更し、テスト時の性能を測定することで、両計算フェーズ間のトレードオフを定量的に評価した。
• エージェントの性能を一貫して比較できるように、固定強度の相手との対戦でEloレーティングシステムを適用した。

実験結果

リサーチクエスチョン

• RQ1 モデルサイズに基づく性能予測に用いられてきたスケーリング法則を、盤面の複雑性の増加といった問題サイズへ一般化できるか？
• RQ2 小規模な盤面での実験データのみを用いて、大規模なヘックス盤の計算フロントラインをどの程度正確に予測できるか？
• RQ3 深層強化学習エージェントにおける訓練時の計算量と推論時の計算量のトレードオフは、予測可能なパターンに従うか？
• RQ4 計算量や盤面サイズの増加に伴い、性能が滑らかで一貫性のあるスケーリングを示すか、それとも学習の質的転換を示すような不連続性や「突発的上昇」が見られるか？
• RQ5 訓練時の計算量と推論時の計算量の関係が対数空間内で線形であるか、そしてその性質を活用することで全体の計算コストを削減できるか？

主な発見

• AlphaZeroエージェントのヘックスゲームにおける性能は、モデルの計算量および盤面サイズの両方に関して、両方とも指数関数的スケーリングに従って予測可能である。
• 9×9などの小規模な盤面でフィッティングした計算フロントラインが、64×64などの大規模な盤面の性能を正確に予測でき、フィットに用いる小規模盤面データが増えるほど予測誤差が指数関数的に減少する。
• 訓練時の計算量が1桁増加するごとに、同じ性能を維持するために推論時の計算量を同程度の要因で削減可能であり、対数空間内での線形的トレードオフが成立していることが示された。
• テスト時の性能は、木探索のサイズが大きくなるに従いシグモイド的（S字型）に向上し、わずかな推論時の計算量でも顕著な性能向上が得られることがわかった。
• 計算量や盤面サイズの増加に伴い、性能に不連続性や「突発的上昇」が見られず、すべてのテスト済み構成において滑らかで連続的なスケーリング行動を示した。
• 観察されたスケーリング行動は、各エージェントが計算量に比例する確率でランダムな戦略を抽出するという簡易モデルとよく一致しており、性能が複雑な内部的推論ではなく、利用可能な戦略のプールに支配されている可能性を示唆している。