[논문 리뷰] Finding the optimal human strategy for Wordle using maximum correct letter probabilities and reinforcement learning

Benton J. Anderson, Jesse G. Meyer|arXiv (Cornell University)|2022. 02. 01.

Teaching and Learning Programming인용 수 19

한 줄 요약

이 논문은 최대한의 정확한 문자 확률과 강화 학습을 활용한 인간 친화적인 워들 플레이 전략을 제안한다. 인간이 기억하기 쉬운 최적의 시작 단어와 승리 확률을 크게 향상시키는 의사결정 프레임워크를 규명한다. 이 전략은 인간의 계산 능력이나 복잡한 계산을 요구하지 않는다.

ABSTRACT

Wordle is an online word puzzle game that gained viral popularity in January 2022. The goal is to guess a hidden five letter word. After each guess, the player gains information about whether the letters they guessed are present in the word, and whether they are in the correct position. Numerous blogs have suggested guessing strategies and starting word lists that improve the chance of winning. Optimized algorithms can win 100% of games within five of the six allowed trials. However, it is infeasible for human players to use these algorithms due to an inability to perfectly recall all known 5-letter words and perform complex calculations that optimize information gain. Here, we present two different methods for choosing starting words along with a framework for discovering the optimal human strategy based on reinforcement learning. Human Wordle players can use the rules we discover to optimize their chance of winning.

연구 동기 및 목표

• 컴퓨터적으로 집약적인 알고리즘에 의존하지 않고도 인간 플레이어가 워들에서 승리할 확률을 극대화할 수 있는 전략을 개발하는 것.
• 최적의 알고리즘적 해법과 인간의 기억력과 인지 부하의 실용적 한계 사이의 격차를 메우는 것.
• 확률적 문자 분석과 강화 학습을 활용해 정보 수득과 인간의 실행 가능성 사이의 균형을 이루는 프레임워크를 만드는 것.
• 인간이 기억하고 적용하기 쉬운 최대 정확한 문자 확률 기반의 고성능 시작 단어를 특정하는 것.
• 초기 추측 이후에도 일관되고 반복 가능한 플레이 결정을 내릴 수 있도록 규칙 기반 시스템을 제공함으로써 총 승리 확률을 높이는 것.

제안 방법

• 저자들은 최대 정확한 문자 확률을 사용하여, 정보 수득 예측값에 기반해 잠재적인 시작 단어를 평가하고 순위를 매긴다.
• 강화 학습을 적용하여 게임 상태를 시뮬레이션하고, 초기 단어 이후의 추측에 대한 최적의 의사결정 정책을 학습한다.
• 이 방법은 목표 단어의 빈도와 위치 정확도가 높은 문자를 우선순위에 두는 의사결정 프레임워크를 구축한다.
• 게임 상태 전이를 모델링하기 위해 유효한 5자리 영어 단어 목록을 기반으로 프레임워크를 훈련한다.
• 가치 함수 근사와 함께 확률적 문자 분석을 조합하여 인간 플레이어가 고정보 추측을 유도한다.
• 이 전략은 인간이 기억하고 실행할 수 있도록 설계되어 있으며, 복잡한 계산이나 어휘 목록 완전한 기억을 요구하지 않는다.

실험 결과

연구 질문

• RQ1 문자 빈도와 위치 분포를 고려할 때, 어떤 시작 단어가 워들에서 정확한 문자 매칭 확률을 극대화하는가?
• RQ2 강화 학습을 어떻게 활용하여 정보 수득과 인지 실행 가능성 사이의 균형을 이루는 인간이 실행 가능한 워들 전략을 도출할 수 있는가?
• RQ3 6번의 시도 내에 승리 확률을 극대화하기 위해 인간 플레이어가 따라야 할 최적의 추측 순서는 무엇인가?
• RQ4 강화 학습에서 유도된 규칙 기반 시스템이 블로그에서 흔히 공유되는 히ュ리스틱 전략을 뛰어넘을 수 있는가?
• RQ5 완전 최적 알고리즘 솔루션과 비교할 때, 제안된 방법은 승리 확률과 인간 사용성 측면에서 어떻게 다른가?

주요 결과

• 이 방법은 문자 매칭 확률을 극대화함으로써 높은 기대 정보 수득을 달성하는 특정 시작 단어를 규명한다.
• 강화 학습을 통해 피드백 기반으로 후속 추측을 안내하는 의사결정 정책을 발견할 수 있었으며, 이는 총 승리 확률 향상에 기여한다.
• 제안된 프레임워크는 인간 플레이어에게 효과적이면서도 실용적인 전략을 제공하여, 완전한 어휘 목록 기억이 필요로 하지 않는다.
• 제안된 전략은 인터넷 블로그에서 흔히 공유되는 히ュ리스틱 접근 방식보다 뚜렷이 뛰어나다.
• 결과적으로 인간이 실행 가능한 전략이 높은 승리 확률을 달성할 수 있음을 입증하였으며, 이는 완전 최적 알고리즘의 100% 승리 확률에 도달하지는 않지만 근접한다.
• 실전에서 기억하고 적용하기 쉬운 명확한 규칙 기반 시스템을 제공하여 후속 추측 선택을 가능하게 한다.