[論文レビュー] Solving the Rubik's Cube Without Human Knowledge

Stephen McAleer, Forest Agostinelli+2 more|arXiv (Cornell University)|May 18, 2018

Artificial Intelligence in Games参考文献 19被引用数 18

ひとこと要約

本論文は、自己教師あり学習とモンテカルロ木探索（MCTS）のみを用いて、人間が提供するドメイン知識や報酬形状なしに3x3x3のルービックキューブをまったくのゼロから解ける強化学習アルゴリズムであるAutodidactic Iteration（ADI）を提案する。この手法により、中央値の解法手数が30手に達し、人間が設計したソルバーや同等の性能を達成している。

ABSTRACT

A generally intelligent agent must be able to teach itself how to solve problems in complex domains with minimal human supervision. Recently, deep reinforcement learning algorithms combined with self-play have achieved superhuman proficiency in Go, Chess, and Shogi without human data or domain knowledge. In these environments, a reward is always received at the end of the game, however, for many combinatorial optimization environments, rewards are sparse and episodes are not guaranteed to terminate. We introduce Autodidactic Iteration: a novel reinforcement learning algorithm that is able to teach itself how to solve the Rubik's Cube with no human assistance. Our algorithm is able to solve 100% of randomly scrambled cubes while achieving a median solve length of 30 moves -- less than or equal to solvers that employ human domain knowledge.

研究の動機と目的

• 人間の監視やドメイン固有の知識なしに、ルービックキューブを解ける強化学習エージェントの開発。
• 最終的なゴール状態でのみ報酬信号が得られるような、組み合わせ最適化環境における報酬の疎らさという課題に対処すること。
• 自己教師ありの反復的学習を通じて、最適な価値関数と方策を推定する深層ニューラルネットワークの訓練。
• エージェントが、コンjugationパターンなど、高度な人間のスピードキューブ技術に相当する複雑な戦略を発見できることの実証。
• 転移可能な価値関数学習を介して、タンパク質折りたたみなど他の組み合わせ最適化問題への応用を拡張すること。

提案手法

• 自己教師あり学習のループを繰り返すことで、深層ニューラルネットワークの価値関数と方策関数を段階的に改善する、Autodidactic Iteration（ADI）を提案。
• ゴール状態から幅優先探索（BFS）を用いて合成データを生成し、最大演算子を用いた再帰的価値バックアップにより、各状態の最適リターンを推定。
• BFSから得たターゲットを用いて、教師あり学習で価値ネットワークを訓練。ネットワーク自身の予測値を用いて将来の価値推定をブートストラップ。
• 予測された価値を最大化する行動に基づいて方策ターゲットを構築し、エンドツーエンドの方策学習を可能に。
• 訓練済みのニューラルネットワークとMCTSを組み合わせ、推論時に効率的な解法探索を実現。
• 解法シーケンスに対してスライディングウインドウ解析を実施し、$aba^{-1}$コンジュゲーションなどの繰り返し現れる動きのパターンを同定・定量化。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり学習にのみ依存し、人間が提供する知識や報酬形状なしに、強化学習エージェントがルービックキューブを解けるか？
• RQ2 純粋な自己対戦と価値関数学習を通じて、エージェントはコンジュゲーションパターンのような複雑で人間にも似た解法戦略を発見できるか？
• RQ3 自己教師あり価値関数学習とMCTSの組み合わせにより、報酬が疎らな環境でサンプル効率的かつ高性能な解法が可能になるか？
• RQ4 学習された価値関数は、4.3×10^19通りの可能なキューブ状態を高成功率かつ低手数で解けるように一般化できるか？
• RQ5 このフレームワークは、報酬が疎らで巨大な状態空間を持つ他の組み合わせ最適化問題へどの程度拡張可能か？

主な発見

• 提案されたエージェント、DeepCubeは、ランダムにシャッフルされた3x3x3ルービックキューブのすべての配置を100%に成功して解ける。
• DeepCubeは、クォーターターンメトリックで中央値の解法手数が30手に達し、人間が設計したヒューリスティクス依存のソルバーよりも同等または優れている。
• エージェントは$aba^{-1}$コンジュゲーションパターンを発見し、活発に利用している。これは、高度な人間のスピードキューブ技術の特徴的パターンである。
• 解法パスに最も頻出する14の動きのトリプレットは、すべて$aba^{-1}$コンジュゲーション構造と完全に一致しており、戦略的学習が行われていることを示している。
• コンジュゲーショントリプレットの分布は非コンジュゲーショントリプレットよりも著しく頻度が高く、平均頻度も高いことから、戦略的優先度が明確に示唆されている。
• エージェントは、解法プロセスの初期段階で2x2x2コーナーを早期に形成することを優先し、その後エッジとコーナーピeceをペアリング・配置するという、既知の人の解法戦略を模倣している。