[論文レビュー] The Game of Tetris in Machine Learning

Simón Algorta, Özgür Şimşek|arXiv (Cornell University)|May 5, 2019

Artificial Intelligence in Games参考文献 26被引用数 7

ひとこと要約

この論文は、機械学習におけるベンチマークとしてのTetrisの使用をレビューし、強化学習、遺伝的アルゴリズム、動的計画法を含むアルゴリズム的手法を分析している。これらの手法は高いスコアを達成しているが、依然としてエキスパート・プレーヤーのパフォーマンスに届かないことから、Tetrisはサンプル効率の学習、特徴の発見、順序付き意思決定問題における階層的意思決定の向上のための重要なテストベッドであることが浮き彫りになる。

ABSTRACT

The game of Tetris is an important benchmark for research in artificial intelligence and machine learning. This paper provides a historical account of the algorithmic developments in Tetris and discusses open challenges. Handcrafted controllers, genetic algorithms, and reinforcement learning have all contributed to good solutions. However, existing solutions fall far short of what can be achieved by expert players playing without time pressure. Further study of the game has the potential to contribute to important areas of research, including feature discovery, autonomous learning of action hierarchies, and sample-efficient reinforcement learning.

研究の動機と目的

• Tetrisを解くために機械学習研究で用いられたアルゴリズム的手法について包括的なレビューを提供すること。
• 現在の機械学習技術を用いてエキスパートレベルのパフォーマンスを達成する際の主な課題を特定すること。
• Tetrisが、特徴の発見やサンプル効率の良い強化学習といった、AI研究の根幹的分野を前進させるためのテストベッドとしての役割を強調すること。
• 標準化されたメトリクスと特徴セットを用いて、20×10グリッド上で各手法のパフォーマンスを比較すること。
• 時間的制約のない状況下での学習エージェントとエキスパート・プレーヤーとの間のギャップを示すことで、今後の研究を促すこと。

提案手法

• 近似動的計画法、ポリシー勾配、遺伝的アルゴリズム、クロスエントロピー法を含む15種類以上のTetris研究で用いられたアルゴリズムを調査・分類した。
• 標準化された20×10グリッドと元のスコア関数（1行クリアごとに1点）を用いてパフォーマンスを評価し、研究間での比較を可能にした。
• 価値関数近似に用いられる特徴セットの分析を行い、ホール（穴）、列の高さ、行・列の遷移、ウェルの深さ、着地位置の高さなどを含めた。
• 各ステップで最適なテトロミノの配置を選択するために、学習済みまたは手動で調整された重みを用いた線形評価関数を用いた。
• 最小二乗法ポリシー反復、ラムダ・ポリシー反復、自然ポリシー勾配を用いてポリシー学習を実施した。
• 各研究で達成された最高スコアを報告し、再現可能性とグリッドサイズの一貫性に重点を置いた。

実験結果

リサーチクエスチョン

• RQ1 Tetrisを学習してプレーするための最も効果的なアルゴリズム的手法は何か。また、それらのパフォーマンスはどのように比較できるか。
• RQ2 現在の機械学習手法は、Tetrisにおけるエキスパート・プレーヤーのパフォーマンスにどの程度近づいているか。
• RQ3 異なる特徴セットは、Tetrisにおける価値関数近似のパフォーマンスにどのように影響を与えるか。
• RQ4 順序付き意思決定環境（Tetrisのような環境）において、サンプル効率の良い学習を達成するにあたり、どのような主な課題があるか。
• RQ5 Tetrisは、自律的学習におけるアクションの階層的構造と特徴の発見に関する広範な研究にどのように貢献できるか。

主な発見

• 本論文で報告された最高パフォーマンスを示したアルゴリズムは、Dellacherie（2003）による手動で調整されたコントローラーで、20×10グリッド上で660,000本のラインをクリアした。これは学習ベースのエージェントをはるかに上回る。
• Böhmら（2005）の遺伝的アルゴリズムベースの手法は、4億8000万本のラインをクリアし、進化的な探索によって高いパフォーマンスを達成した。
• Kakade（2002）の自然ポリシー勾配を用いた強化学習手法は約5,000本のラインを達成した。一方、Farias & Van Roy（2006）は線形計画法を用いて4,274本のラインに到達した。
• Dellacherieの特徴セット（ホール、着地位置の高さ、行・列の遷移、累積的なウェル、侵食されたセル）は、積み上げ高さとホールのみを用いた単純な特徴よりも顕著に優れたパフォーマンスを示した。
• 価値関数近似にラジアル基底関数（RBF）を用いることで、特に高次元の状態空間において一般化性能が向上した。
• 技術の進歩にもかかわらず、依然として学習ベースの手法は、時間的制約のない状況下でのエキスパート・プレーヤーのパフォーマンスに到達できていない。これは、サンプル効率性と戦略的計画の分野における顕著な研究ギャップを示している。