[論文レビュー] Transfer of Fully Convolutional Policy-Value Networks Between Games and Game Variants

Dennis J. N. J. Soemers, Vegard Mella+4 more|arXiv (Cornell University)|Feb 24, 2021

Artificial Intelligence in Games参考文献 29被引用数 5

ひとこと要約

本稿は、Ludiiの一貫したテンソル表現を用いて、多様なボードゲームおよびその変種間で完全畳み込み方策価値ネットワークの転移学習フレームワークを提案する。ゲーム間でチャンネルレベルの特徴に共通する意味的特徴を活用することで、ゼロショットおよびファインチューニングによる有効な転移が可能となり、ボードのサイズや形状、ルールの違いに関わらず強力な性能を発揮する。特に重要な転移シナリオでは勝率が90％を超える。

ABSTRACT

In this paper, we use fully convolutional architectures in AlphaZero-like self-play training setups to facilitate transfer between variants of board games as well as distinct games. We explore how to transfer trained parameters of these architectures based on shared semantics of channels in the state and action representations of the Ludii general game system. We use Ludii's large library of games and game variants for extensive transfer learning evaluations, in zero-shot transfer experiments as well as experiments with additional fine-tuning time.

研究の動機と目的

• ボードのサイズ、形状、ルールが異なる多様なボードゲームおよびその変種間での有効な転移学習を可能にすること。
• アーキテクチャの変更や再学習を最小限に抑えて、異なるゲーム間での方策および価値の転移を解決すること。
• Ludiiのゲームに依存しないテンソル表現を活用し、状態および行動表現における共有される意味的チャンネルを同定すること。
• ゼロショットおよびファインチューニング設定を含む、広範なゲームおよびその変種における転移性能を評価すること。
• Ludiiのゲームライブラリを、ゲームAIにおける転移学習の新しいベンチマークとして確立すること。

提案手法

• 変動する空間次元を処理できるように、Polygamesフレームワークからのグローバルプーリングを備えた完全畳み込みニューラルネットワークを採用する。
• 状態および行動のためのLudiiの一貫性がありゲームに依存しないテンソル表現を用い、共有されるチャンネル意味的特徴を通じてゲーム間の特徴統合を実現する。
• 同じ意味的チャンネル（例：プレイヤーの駒、コントロールゾーン）をマッピングすることで、事前学習済みの方策価値ネットワーク重みを異なるゲーム間で転送する。
• チャンネル意味的特徴が整合しているゲーム間では、直接重みを転送するゼロショット転移を実施し、その後、ターゲットドメインのダイナミクスに適応させるためにファインチューニングを実施する。
• アーキテクチャの互換性を保ちつつ転送性を維持するため、ファインチューニング実験で隠れ層のチャンネル数を調整する。
• 自己対戦とモンテカルロツリー探索（MCTS）を用い、MCTSのロールアウト結果を教師データとして使用することで、方策価値ネットワークの学習と評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 ボードのサイズ、形状、ルールセットが異なる異なるボードゲーム間で、完全畳み込み方策価値ネットワークを有効に転移できるか？
• RQ2 Ludiiのテンソル形式において、意味的に整合したチャンネル表現を持つゲーム間で、ゼロショット転移がどの程度成功するか？
• RQ3 アーキテクチャ的または意味的不一致があるゲーム間で、ファインチューニングが転移性能をどの程度向上させるか？
• RQ4 状態および行動表現における共有される意味的チャンネルが、ゲーム間転送を可能にする役割を果たすか？
• RQ5 Ludiiの多数のゲームを含むライブラリは、ゲームAIにおける転移学習のスケーラブルなベンチマークとして機能できるか？

主な発見

• ShogiにHasami Shogiから転移したゼロショット転移では、勝率89.00％を達成し、異なるゲーム間での強力な一般化を示した。
• ファインチューニング後、LineSize5SquareからYavalathへの転移で70.00％の勝率を達成し、新しいゲームメカニズムへの適応が有効であった。
• Shogiの変種間での転移では、ファインチューニング後、MinishogiからShogiへの転移で最大86.67％の勝率を記録し、駒の数やボードサイズの変化に対しても強靭性を示した。
• Hexの変種では、$11 \times 11$ Diagonal Hexから$13 \times 13$ スタンダードHexへの転移で、ファインチューニング後97.33％の勝率を達成し、対称的ゲームにおける高い転送性を示した。
• チャンネル数の調整が伴ったが、Connect6やGomokuなどのライン完成系ゲーム間でも、ファインチューニング設定で93.00％の勝率を達成し、アーキテクチャ制限下でも有効性が証明された。
• 最も挑戦的なケースである$19 \times 19$ Hex misèreから$13 \times 13$ スタンダードHexへの転移でも、ファインチューニング後99.33％の勝率を達成し、複雑で対称的なドメインにおいても高い転送性を示した。