[논문 리뷰] Stochastic Resetting Accelerates Policy Convergence in Reinforcement Learning

Jello Zhou, Vudtiwat Ngampruetikorn외 1명|arXiv (Cornell University)|2026. 03. 17.

Diffusion and Search Dynamics인용 수 0

한 줄 요약

본 논문은 확률적 재설정이 표형(tabular) 및 심층 RL 전반에서 정책 수렴을 가속화하고, 무익한 궤적을 잘라 학습 속도를 높이며 보상 전파를 개선해 최적 정책을 보존할 수 있음을 보여준다.

ABSTRACT

Stochastic resetting, where a dynamical process is intermittently returned to a fixed reference state, has emerged as a powerful mechanism for optimizing first-passage properties. Existing theory largely treats static, non-learning processes. Here we ask how stochastic resetting interacts with reinforcement learning, where the underlying dynamics adapt through experience. In tabular grid environments, we find that resetting accelerates policy convergence even when it does not reduce the search time of a purely diffusive agent, indicating a novel mechanism beyond classical first-passage optimization. In a continuous control task with neural-network-based value approximation, we show that random resetting improves deep reinforcement learning when exploration is difficult and rewards are sparse. Unlike temporal discounting, resetting preserves the optimal policy while accelerating convergence by truncating long, uninformative trajectories to enhance value propagation. Our results establish stochastic resetting as a simple, tunable mechanism for accelerating learning, translating a canonical phenomenon of statistical mechanics into an optimization principle for reinforcement learning.

연구 동기 및 목표

• 비학습 환경에서 확률적 재설정이 강화학습과 어떻게 상호 작용하는지 조사한다.
• 재설정이 탐색 효율성의 개선을 넘어 정책 수렴을 가속화하는지 결정한다.
• 학습 역학 및 최종 정책 형성에서 재설정 메커니즘과 할인(gamma) 간의 차이를 구분한다.
• 연속 및 이산 과제 전반에서 표형(tabular) 및 심층 RL 설정에서 재설정 효과를 평가한다.

제안 방법

• 훈련의 모든 단계에서 확률 r로 에이전트를 고정된 시작 상태로 되돌려 재설정을 구현하되, 재설정 전이에서 가치 함수는 업데이트하지 않는다.
• 학습 및 정책에 미치는 영향을 연구하기 위해 세 가지 환경을 분석한다: GridWorld와 WindyCliff (tabular Q-learning) 및 MountainCar (DQN).
• 정책에 대한 영향과 수렴 속도 차이를 구분하기 위해 재설정과 할인 인자 gamma를 비교한다.
• 훈련 단계 샘플 효율성과 최종 정책 성능을 기반으로 평가 지표를 사용한다.
• 재설정 간 축적된 지식을 유지하여 재설정이 학습된 가치 함수가 아니라 궤적 분포를 변화시키도록 한다.
• 재현 가능성을 높이기 위해 알고리즘 및 하이퍼파라미터의 모든 세부 정보를 Materials and Methods 섹션에 제공한다.

실험 결과

연구 질문

• RQ1 확률적 재설정이 탐색 효율성의 개선을 넘어 강화학습에서 정책 수렴을 가속화하는가?
• RQ2 재설정이 학습 역학 및 최종 정책 형성에 미치는 영향을 결정하는 할인(gamma)과의 상호작용은 어떠한가?
• RQ3 탐색이 어렵고 보상이 희박할 때 심층 RL에서 재설정이 유익한가?
• RQ4 연속 상태 과제에서 재설정이 표준 RL 동역학과 비교하여 최적 정책을 바꿔 놓는가?

주요 결과

• 작은 그리드에서 탐색 효율이 악화되더라도 GridWorld에서 재설정은 정책 수렴을 가속시킨다.
• 재설정은 긴 탐색 궤적을 잘라 학습을 미세 조정하고, 최적 정책을 바꾸지 않으면서 가치 정보의 역전파를 가속화한다.
• WindyCliff에서 재설정은 학습 속도 수렴을 바꾸되 학습된 정책은 바꾸지 않으며, 이는 할인과는 다른 메커니즘이다.
• DQN을 사용하는 MountainCar에서 중간 수준의 재설정 비율은 희박한 보상 하에서 목표 만남을 증가시켜 학습을 개선하는 반면, 너무 높은 비율은 해롭다.
• 재설정의 이점은 길고 정보가 없는 궤적이 주요 병목일 때 가장 강하며, 이점은 탐색의 난이도와 보상 구조에 따라 달라진다.