[論文レビュー] Reinforcement Learning Methods for Wordle: A POMDP/Adaptive Control Approach

Siddhant Bhambri, Amrita Bhattacharjee+1 more|arXiv (Cornell University)|Nov 15, 2022

Optimization and Search Problems被引用数 7

ひとこと要約

本稿では、ロールアウトに基づく適応制御と価値関数近似を用いた強化学習手法を提案し、部分的に観測可能なマルコフ決定過程（POMDP）として定式化されたWordleパズルを解く。1回のポリシー反復により、最大情報量獲得というヒューリスティック戦略を改善することで、最適解から0.4%以内の近似最適性能を達成した。計算効率が高く、6文字Wordleなどの複雑な変種にもスケーラブルである。

ABSTRACT

In this paper we address the solution of the popular Wordle puzzle, using new reinforcement learning methods, which apply more generally to adaptive control of dynamic systems and to classes of Partially Observable Markov Decision Process (POMDP) problems. These methods are based on approximation in value space and the rollout approach, admit a straightforward implementation, and provide improved performance over various heuristic approaches. For the Wordle puzzle, they yield on-line solution strategies that are very close to optimal at relatively modest computational cost. Our methods are viable for more complex versions of Wordle and related search problems, for which an optimal strategy would be impossible to compute. They are also applicable to a wide range of adaptive sequential decision problems that involve an unknown or frequently changing environment whose parameters are estimated on-line.

研究の動機と目的

• 不確実性下での逐次意思決定を特徴とするPOMDPとして定式化されたWordleパズルを解く、スケーラブルで適応可能な強化学習手法の開発。
• 最大情報量獲得や「最も速い減少」などのヒューリスティック戦略を、ロールアウトポリシー反復フレームワークを用いて改善すること。
• 問題のスケールが増大する（例：6文字Wordle変種）場合でも、提案手法が有効かつ効率的であることを示すこと。
• 未知または変化する環境を伴う、より広範な適応制御および逐次探索問題への適用可能性を拡張すること。
• 指数的状態空間の増大により最適解が計算不能となる問題に対して、正確な動的計画法の代替として計算可能な代替手段を提供すること。

提案手法

• 本手法は、最大情報量獲得などのヒューリスティックベースポリシーから出発し、1回のポリシー改善ステップを実行するロールアウトアルゴリズムを用いる。これにより、優れたロールアウトポリシーが生成される。
• 価値関数近似とロールアウト手法を組み合わせ、ポリシーを反復的に改善する。ベースヒューリスティックのコスト関数を最適コストの過剰推定とみなす。
• WordleをPOMDPとしてモデル化し、隠れ状態は未知の語、各推測は色コードによる部分的かつ確率的な観測を提供する。
• 各ステップで、条件付きエントロピーの低減を用いて期待される情報量の増加を計算し、H(Θ|Z_u)を最小化することで、次に最良の語を選ぶ。
• 各推測後にベイズ更新を用いて、可能な未知語の信念状態を更新することで、不確実性下での適応的意思決定を可能にする。
• 本手法は計算的に効率的であり、6文字Wordleにおいても平均的に数秒の解決時間を達成しており、粒子フィルタリングやシミュレーションを用いて非一様語分布の状況にも拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 ロールアウトに基づく強化学習手法は、最大情報量獲得などのヒューリスティック戦略を著しく上回ることができるか？
• RQ2 価値関数近似とポリシー改善を用いて、計算効率の良いポリシーが、Wordleを解く際に最適解にどの程度近づけるか？
• RQ3 正確な動的計画法が非効率となる6文字語のWordle変種など、より大きな変種に対し、本手法はどの程度スケーラブルか？
• RQ4 最適解の計算が非現実的となる非一様確率分布の下で、本手法はどの程度の性能を示すか？
• RQ5 ロールアウト手法は、部分的に観測可能な状態を伴う、他の適応制御および逐次探索問題へ一般化可能か？

主な発見

• 5文字Wordleにおいて、最良の初手語「salet」を使用した場合、ロールアウトポリシーは最適なベースヒューリスティック（最大情報量獲得）を0.4%以上上回る性能を達成した。
• 6文字Wordleでは、探索空間の指数的増加にもかかわらず、平均解決時間が数秒のオーダーで達成され、スケーラビリティが示された。
• 6文字Wordleの実験では、「ambros」を初手に使用した場合、ハードモードで平均3.16回、エイジモードで平均3.30回の推測で解決した。
• 最大情報量獲得、『最も速い減少』、『期待確率が最大』の3つのベースヒューリスティックすべてに対して、本手法は全テスト設定で顕著に優れた性能を示した。
• 非一様語分布に対しても本手法は有効であり、主な計算コストは信念状態の更新であるが、シミュレーションや粒子フィルタリングで処理可能である。
• 理論的および実騴的結果により、ロールアウトをベルマン方程式を解くにあたってのニュートン型ステップと解釈できることが示され、ベースポリシーに対する強力な性能向上が説明された。