[論文レビュー] Systematic N-tuple Networks for Position Evaluation: Exceeding 90% in the Othello League

Wojciech Jaśkowski|arXiv (Cornell University)|Jun 5, 2014

Artificial Intelligence in Games参考文献 22被引用数 5

ひとこと要約

本論文は、8×8オセロ盤上に構造的・対称的なパターンで配置された多数の短い直線状2-タプルを用いる、システム的なn-タプルネットワークアーキテクチャを導入する。この手法により、最小限の288重みネットワークを用いて、オセロリーグで95.84%の性能を達成し、90%を超えて、すべての先行プレーヤーを上回った。これは、ランダムでねじれた形状のn-タプルに比べ、小さなn-タプルの体系的な配置が学習効率と性能を顕著に向上させることを示している。

ABSTRACT

N-tuple networks have been successfully used as position evaluation functions for board games such as Othello or Connect Four. The effectiveness of such networks depends on their architecture, which is determined by the placement of constituent n-tuples, sequences of board locations, providing input to the network. The most popular method of placing n-tuples consists in randomly generating a small number of long, snake-shaped board location sequences. In comparison, we show that learning n-tuple networks is significantly more effective if they involve a large number of systematically placed, short, straight n-tuples. Moreover, we demonstrate that in order to obtain the best performance and the steepest learning curve for Othello it is enough to use n-tuples of size just 2, yielding a network consisting of only 288 weights. The best such network evolved in this study has been evaluated in the online Othello League, obtaining the performance of nearly 96% --- more than any other player to date.

研究の動機と目的

• システム的なn-タプルの配置が、オセロ盤評価における学習効率と性能に与える影響を調査すること。
• 従来の長くランダムに生成されたねじれた形状のn-タプルと比較して、短く直線的なn-タプル（特にサイズ2）の有効性を検証すること。
• オセロにおける強い盤面評価関数を学習するための最適なn-タプルサイズを特定すること。
• 進化したn-タプルネットワークの実世界におけるオセロリーグ環境での性能を評価すること。

提案手法

• 著者らは、8×8オセロ盤上に、すべての可能な直線的・対称的な線分に配置された2-タプル（n=2）のみを用いた、システム的なn-タプルネットワークを設計した。
• 各2-タプルは最大8種類の対称的変換（回転と反転）に拡張され、盤全体のカバーと盤の対称性不変性を保証した。
• ネットワークは32個の異なる2-タプルから構成され、それぞれが9個の重み（対称的拡張を含む）を持つため、合計288の学習可能なパラメータを持つ。
• 進化戦略を用いて288個の重みを最適化し、フィットネスはε-オセロにおける強力なヒューリスティックプレーヤー（swh）との自己対戦によって評価された。
• 最終的なネットワークはオンラインのオセロリーグで評価され、95.84% ± 0.0012の性能を達成した。
• 過学習を軽減し一般化性能を向上させるために、盤の反転対称性を組み込んだ。

実験結果

リサーチクエスチョン

• RQ1 短く直線的なn-タプルの体系的な配置は、ランダムでねじれた形状のn-タプルと比較して、オセロ盤評価における学習と性能を向上させるか？
• RQ2 高い性能を達成するための最適なn-タプルサイズ（例：2, 3, 4）は何か？
• RQ3 288重みという非常に小さなネットワークが、体系的なn-タプル配置を用いることで、オセロリーグで超人間の性能を達成できるか？
• RQ4 進化したn-タプルネットワークの性能は、実際の競技環境における既存の最先端の盤面評価関数と比較してどうか？

主な発見

• 288重みのみのシステム的なn-タプルネットワークが、オセロリーグで95.84% ± 0.0012の性能を達成し、90%を超えて、すべての先行プレーヤーを上回った。
• 2-タプル（n=2）のみを用いた場合が最良の性能を示し、より長いn-タプル（n=3,4）では著しく劣った学習曲線と低い最終スコアが得られた。
• 短く直線的な2-タプルの体系的な配置は、従来の少数の長くランダムに生成されたねじれた形状のn-タプルを用いる方法に比べ、より急で効果的な学習曲線を生み出した。
• ネットワークの性能は対称性に対して頑健であり、盤の反転を用いることで一般化性能が向上し、過学習が軽減された。
• 進化したネットワークの288重みは、オセロリーグにおけるすべての先行プレーヤーを上回るのに十分であった。これは、アーキテクチャ設計がモデルサイズよりも重要であることを示している。
• 本研究は、対称性に配慮した重み共有と組み合わせた場合、システム的なn-タプル配置がランダムなn-タプル生成の優れた代替手段であることを確認した。