[论文解读] Finding the optimal human strategy for Wordle using maximum correct letter probabilities and reinforcement learning

Benton J. Anderson, Jesse G. Meyer|arXiv (Cornell University)|Feb 1, 2022

Teaching and Learning Programming被引用 19

一句话总结

本文提出了一种面向人类的Wordle游戏制胜策略，结合最大正确字母概率与强化学习。该策略识别出最优起始词及决策框架，显著提升胜率，且无需人类进行非人般的计算记忆或复杂运算。

ABSTRACT

Wordle is an online word puzzle game that gained viral popularity in January 2022. The goal is to guess a hidden five letter word. After each guess, the player gains information about whether the letters they guessed are present in the word, and whether they are in the correct position. Numerous blogs have suggested guessing strategies and starting word lists that improve the chance of winning. Optimized algorithms can win 100% of games within five of the six allowed trials. However, it is infeasible for human players to use these algorithms due to an inability to perfectly recall all known 5-letter words and perform complex calculations that optimize information gain. Here, we present two different methods for choosing starting words along with a framework for discovering the optimal human strategy based on reinforcement learning. Human Wordle players can use the rules we discover to optimize their chance of winning.

研究动机与目标

• 开发一种人类玩家策略，以在不依赖计算密集型算法的前提下最大化Wordle胜率。
• 解决最优算法解与人类记忆和认知负荷在处理五字母词列表方面的实际限制之间的差距。
• 构建一个平衡信息增益与人类可行性的框架，结合概率字母分析与强化学习。
• 基于最大正确字母概率识别高性能起始词，确保人类易于记忆与应用。
• 提供基于规则的系统，使玩家在首次猜测后能做出一致且可重复的决策，从而提升整体胜率。

提出的方法

• 作者利用最大正确字母概率评估并排序潜在起始词，基于其预期信息增益。
• 应用强化学习模拟游戏状态，并学习在首次猜测后最优的后续猜测决策策略。
• 该方法构建了一个决策框架，优先考虑目标词中频率高且位置准确的字母。
• 框架在精选的合法五字母英文单词列表上进行训练，利用游戏状态转移建模每次猜测的反馈。
• 结合概率字母分析与价值函数近似，指导人类玩家选择高信息量的猜测。
• 该策略设计为人类可记忆并执行，避免复杂计算或对完整词列表的全面回忆。

实验结果

研究问题

• RQ1 在字母频率与位置分布已知的前提下，哪些起始词能最大化Wordle中正确字母匹配的概率？
• RQ2 如何利用强化学习推导出一种人类可执行的Wordle策略，以在信息增益与认知可行性之间取得平衡？
• RQ3 人类玩家在六次尝试内最大化胜率的最优猜测序列是什么？
• RQ4 基于强化学习推导出的基于规则的系统是否能超越博客中常见的启发式策略？
• RQ5 与完全最优的算法解相比，该方法在胜率与人类可用性方面表现如何？

主要发现

• 该方法识别出特定起始词，通过最大化正确字母匹配概率实现高预期信息增益。
• 强化学习使决策策略的发现成为可能，该策略根据反馈指导后续猜测，从而提升整体胜率。
• 该框架生成的策略对人类玩家既有效又实用，无需完美记忆词列表。
• 所提策略显著优于博客中常见的启发式方法。
• 结果表明，一种人类可执行的策略可实现高胜率——接近但未达到完全最优算法的100%胜率。
• 该方法提供了一个清晰的基于规则的系统，用于选择后续猜测，易于记忆并在实际游戏中应用。