[논문 리뷰] Reinforcement Learning Methods for Wordle: A POMDP/Adaptive Control Approach

Siddhant Bhambri, Amrita Bhattacharjee외 1명|arXiv (Cornell University)|2022. 11. 15.

Optimization and Search Problems인용 수 7

한 줄 요약

이 논문은 부분 관측 마르코프 결정 과정(POMDP)으로 모델링된 워들 퍼즐을 해결하기 위해 롤아웃 기반 적응 제어와 가치 함수 근사법을 사용하는 강화 학습 접근법을 제안한다. 단일 정책 반복을 통해 최대 정보 이득과 같은 히وري스틱 전략을 개선함으로써, 최적 해에 비해 약 0.4% 이내의 near-optimal 성능를 달성하면서도 계산 효율성과 복잡한 변형(예: 6자리 워들)에 대한 확장성 유지한다.

ABSTRACT

In this paper we address the solution of the popular Wordle puzzle, using new reinforcement learning methods, which apply more generally to adaptive control of dynamic systems and to classes of Partially Observable Markov Decision Process (POMDP) problems. These methods are based on approximation in value space and the rollout approach, admit a straightforward implementation, and provide improved performance over various heuristic approaches. For the Wordle puzzle, they yield on-line solution strategies that are very close to optimal at relatively modest computational cost. Our methods are viable for more complex versions of Wordle and related search problems, for which an optimal strategy would be impossible to compute. They are also applicable to a wide range of adaptive sequential decision problems that involve an unknown or frequently changing environment whose parameters are estimated on-line.

연구 동기 및 목표

• 불확실성 하에서 순차적 의사결정이 필요한 문제로서, 워들 퍼즐을 POMDP로 모델링하는 확장 가능하고 적응 가능한 강화 학습 방법을 개발하는 것.
• 최대 정보 이득과 '가장 빠른 감소'와 같은 히وري스틱 전략을 개선하기 위해 롤아웃 정책 반복 프레임워크를 사용하는 것.
• 문제 크기가 증가할 경우, 예를 들어 6자리 워들 변형과 같이 정확한 동적 프로그래밍이 비현실적이게 되는 상황에서도 제안된 방법이 효과적이고 효율적으로 유지되는지 보여주는 것.
• 알 수 없거나 변화하는 환경을 가진 더 넓은 범위의 적응 제어 및 순차적 탐색 문제에 이 방법의 적용 가능성을 확장하는 것.
• 상태 공간의 기하급수적 증가로 인해 최적 해가 계산이 불가능한 문제들에 대해 정확한 동적 프로그래밍의 계산 가능 대안을 제공하는 것.

제안 방법

• 기본 히وري스틱 정책(예: 최대 정보 이득)에서 시작하여 단일 정책 개선 단계를 수행하는 롤아웃 알고리즘을 사용하여 향상된 롤아웃 정책를 생성한다.
• 가치 함수 근사법과 롤아웃 접근법을 사용하여 정책를 반복적으로 개선하며, 기본 히وري스틱의 비용 함수를 최적 비용의 과대추정으로 간주한다.
• 워들 문제를 POMDP로 모델링하여, 숨겨진 상태로는 정답 단어가 있으며, 각 추측은 색상 기반 피드백을 통해 부분적이고 확률적인 관측을 제공한다.
• 각 단계에서 조건부 엔트로피 감소를 사용하여 기대 정보 이득을 계산하고, H(Θ|Z_u)를 최소화함으로써 다음 추측 단어를 선택한다.
• 베이지안 업데이트를 통해 각 추측 이후 가능한 정답 단어에 대한 믿음 상태를 갱신함으로써 불확실성 하에서 적응 가능한 의사결정을 가능하게 한다.
• 계산 효율성이 뛰어나 6자리 워들에 대해 평균적으로 몇 초 내에 해결 시간을 달성하며, 입자 필터링 또는 시뮬레이션을 통해 비균일 단어 분포 상황에도 확장 가능하다.

실험 결과

연구 질문

• RQ1 롤아웃 기반 강화 학습 방법이 최대 정보 이득과 같은 히وري스틱 전략보다 워들 퍼즐 해결에서 뚜렷이 뛰어난 성능를 보일 수 있는가?
• RQ2 가치 함수 근사법과 정책 개선을 사용할 때, 계산 효율적인 정책가 워들 문제를 해결하는 데 최적에 얼마나 가까이 도달할 수 있는가?
• RQ3 정확한 동적 프로그래밍이 비현실적이게 되는 6자리 단어와 같은 더 큰 워들 변형에 대해 제안된 방법이 얼마나 잘 확장되는가?
• RQ4 정답 단어 선택에 대해 비균일 확률 분포가 적용될 경우, 최적 해 계산이 비현실적인 상황에서 이 방법의 성능는 어떠한가?
• RQ5 롤아웃 접근법은 부분 관측 상태를 가진 다른 적응 제어 및 순차적 탐색 문제로 일반화될 수 있는가?

주요 결과

• 5자리 워들에서 'salet'을 최적의 첫 번째 단어로 사용할 경우, 롤아웃 정책는 최적의 기본 히وري스틱(최대 정보 이득)보다 0.4% 이상 높은 성능를 달성했다.
• 6자리 워들에서는 상태 공간의 기하급수적 증가에도 불구하고, 평균 해결 시간이 몇 초 내에 도달하여 확장성을 입증했다.
• 6자리 워들 실험에서 'ambros'를 첫 번째 단어로 사용할 경우, 하드 모드에서는 평균 추측 횟수를 3.16으로, 이지 모드에서는 3.30으로 줄였다.
• 모든 테스트 구성에서 최대 정보 이득, '가장 빠른 감소', '가장 높은 기대 확률'이라는 세 가지 기본 히وري스틱보다 제안된 방법이 뚜렷이 뛰어난 성능를 보였다.
• 비균일 단어 분포 상황에서도 방법이 유의미하게 유지되며, 주요 계산 비용은 믿음 상태 갱신이며, 이는 시뮬레이션 또는 입자 필터링을 통해 처리할 수 있다.
• 이론적 및 실증적 결과는 롤아웃을 벨만 방정식을 푸는 데서 뉴턴 유사 단계로 해석할 수 있음을 지지하며, 기본 정책에 비해 뛰어난 성능 향상을 설명한다.