[論文レビュー] Finding the optimal human strategy for Wordle using maximum correct letter probabilities and reinforcement learning

Benton J. Anderson, Jesse G. Meyer|arXiv (Cornell University)|Feb 1, 2022

Teaching and Learning Programming被引用数 19

ひとこと要約

この論文は、最大の正しい文字の確率と強化学習を用いて、人間がWordleに勝つための使いやすい戦略を提案している。計算的に非現実的な記憶力や複雑な計算を必要とせず、勝率を著しく向上させる最適な初期語と意思決定フレームワークを特定している。

ABSTRACT

Wordle is an online word puzzle game that gained viral popularity in January 2022. The goal is to guess a hidden five letter word. After each guess, the player gains information about whether the letters they guessed are present in the word, and whether they are in the correct position. Numerous blogs have suggested guessing strategies and starting word lists that improve the chance of winning. Optimized algorithms can win 100% of games within five of the six allowed trials. However, it is infeasible for human players to use these algorithms due to an inability to perfectly recall all known 5-letter words and perform complex calculations that optimize information gain. Here, we present two different methods for choosing starting words along with a framework for discovering the optimal human strategy based on reinforcement learning. Human Wordle players can use the rules we discover to optimize their chance of winning.

研究の動機と目的

• 計算的に高負荷なアルゴリズムに依存せずに、人間プレイヤーがWordleに勝つ確率を最大化する戦略を開発すること。
• 最適なアルゴリズム的ソリューションと、5文字の語彙リストを処理する際の人間の記憶力や認知的負荷の実用的制限との間のギャップを埋めること。
• 確率的文字分析と強化学習を用いて、情報の獲得と人間の実行可能性の両立を図るフレームワークを構築すること。
• 人間が覚えやすく適用しやすい、最大の正しい文字の確率に基づく高性能な初期語を特定すること。
• 初期の手番以降に一貫性があり繰り返し可能なプレイ意思決定を可能にするルールベースのシステムを提供することにより、全体の勝率を向上させること。

提案手法

• 著者たちは、期待される情報量の獲得に基づいて、潜在的な初期語を評価・順位付けするために、最大の正しい文字の確率を用いている。
• 彼らは強化学習を用いて、ゲーム状態をシミュレートし、初期語の後の次の手の最適な意思決定ポリシーを学習している。
• この手法は、ターゲット語における頻度が高く、位置が正確な文字を優先する意思決定フレームワークを構築している。
• フレームワークは、有効な5文字英単語の選別済みリストを用いて訓練されており、各手のフィードバックをモデル化するためのゲーム状態遷移を利用している。
• 確率的文字分析と価値関数近似を組み合わせることで、人間プレイヤーが高情報量の手を指向するように導く。
• 戦略は人間が記憶可能で実行可能であるように設計されており、複雑な計算や語彙リストの完全な記憶を必要としない。

実験結果

リサーチクエスチョン

• RQ1 文字の頻度と位置分布を考慮した場合、どの初期語がWordleで正しい文字マッチの確率を最大にするか？
• RQ2 強化学習を用いて、情報の獲得と認知的実行可能性の両立を図る、人間が実行可能なWordle戦略をどのように導出できるか？
• RQ3 人間プレイヤーが6手以内に勝率を最大化するための最適な手順のシーケンスは何か？
• RQ4 強化学習から導出されたルールベースのシステムは、ブログでよく推奨されるヒューリスティック戦略を上回ることができるか？
• RQ5 完全に最適なアルゴリズム的ソリューションと比較して、提案手法は勝率と人間の使いやすさの観点でどのように異なるか？

主な発見

• この手法は、正しい文字マッチの確率を最大化することで、高い期待される情報量をもたらす特定の初期語を同定している。
• 強化学習により、フィードバックに基づいて次の手を指針とする意思決定ポリシーが発見され、全体の勝率が向上している。
• フレームワークは、完全な語彙リストの記憶を必要とせず、人間プレイヤーにとって効果的かつ実用的な戦略を生み出している。
• 提案された戦略は、オンラインのブログでよく共有されるヒューリスティック手法を著しく上回っている。
• 結果として、人間が実行可能な戦略が、非常に高い勝率を達成できること（完全に最適なアルゴリズムの100％勝率に近いが、それを超えない）が示された。
• 実戦で覚えやすく適用しやすい、明確なルールベースのシステムにより、後続の手の選択が可能になっている。