[논문 리뷰] A Theoretical Connection Between Statistical Physics and Reinforcement Learning

Jad Rahme, Ryan P. Adams|arXiv (Cornell University)|2019. 06. 24.

Reinforcement Learning in Robotics참고 문헌 27인용 수 4

한 줄 요약

이 논문은 마르코프 결정 과정에 대해 통계역학의 분할함수 $Χ(s,a,\beta)$를 도입함으로써 강화학습과 통계역학 사이의 이론적 연결을 수립한다. 이는 명시적인 가치함수 없이도 새로운 동적 프rogram밍 접근법을 가능하게 한다. $\mathcal{Z}$-함수는 결정론적 환경에서 선형 벨만 방정식을 만족하며, 궤적 다양성이 높은 상태를 선호하는 볼츠만 유사 정책을 도출하여, 엔트로피 정규화가 적용된 기대 SARSA와 동치인 새로운 모델-프리 강화학습 알고리즘을 제공한다.

ABSTRACT

Sequential decision making in the presence of uncertainty and stochastic dynamics gives rise to distributions over state/action trajectories in reinforcement learning (RL) and optimal control problems. This observation has led to a variety of connections between RL and inference in probabilistic graphical models (PGMs). Here we explore a different dimension to this relationship, examining reinforcement learning using the tools and abstractions of statistical physics. The central object in the statistical physics abstraction is the idea of a partition function $\mathcal{Z}$, and here we construct a partition function from the ensemble of possible trajectories that an agent might take in a Markov decision process. Although value functions and $Q$-functions can be derived from this partition function and interpreted via average energies, the $\mathcal{Z}$-function provides an object with its own Bellman equation that can form the basis of alternative dynamic programming approaches. Moreover, when the MDP dynamics are deterministic, the Bellman equation for $\mathcal{Z}$ is linear, allowing direct solutions that are unavailable for the nonlinear equations associated with traditional value functions. The policies learned via these $\mathcal{Z}$-based Bellman updates are tightly linked to Boltzmann-like policy parameterizations. In addition to sampling actions proportionally to the exponential of the expected cumulative reward as Boltzmann policies would, these policies take entropy into account favoring states from which many outcomes are possible.

연구 동기 및 목표

• 분할함수를 중심 개념으로 삼아 강화학습과 통계역학을 연결하는 이론적 프레임워크를 수립하는 것.
• 동적 프로그래밍이 가능한 결정론적 MDP에서 $\mathcal{Z}$-함수에 대한 벨만 방정식을 유도하는 것.
• 변분 접근법을 통해 $\mathcal{Z}$-함수 형식을 확률적 환경으로 확장하는 것.
• 명시적인 가치함수 표현을 피하는 $\mathcal{Z}$-함수 업데이트 기반의 모델-프리 강화학습 알고리즘을 개발하는 것.
• $\pi(a|s) \propto \mathcal{Z}(s,a,\beta)$로부터 유도된 정책이 엔트로피와 궤적 다양성이 높은 상태를 자연스럽게 선호하는지 확인하는 것.

제안 방법

• 역온도 $\beta$로 매개변수화된 MDP 내 상태-행동 궤적에 대한 분할함수 $\mathcal{Z}(s,a,\beta)$를 구성하며, 이는 통계역학의 분할함수와 유사하다.
• $\mathcal{Z}$에 대한 벨만 방정식을 유도하며, 이는 결정론적 환경에서 선형이 되어 직접 해법을 가능하게 한다.
• 정책을 $\pi(a|s) \propto \mathcal{Z}(s,a,\beta)$로 정의하여, 다양한 결과가 가능한 상태를 선호하는 볼츠만 유사 정책을 도출하며, 이는 엔트로피를 내재적으로 반영한다.
• 분할함수 프레임워크와의 일관성을 유지하기 위해, 변분 근사를 통해 형식을 확률적 MDP로 확장한다.
• $\mathcal{Z}$에 대한 기하학적 업데이트 규칙을 제안: $\mathcal{Z}(s_t,a_t,\beta) \leftarrow \mathcal{Z}(s_t,a_t,\beta)^{1-\alpha} \times \left(e^{\beta r_t + \mu} \sum_{a_{t+1}} \mathcal{Z}(s_{t+1},a_{t+1},\beta)\right)^\alpha$, 이는 Q-학습에서의 선형 보간을 대체한다.
• 유도된 $Q$-함수 업데이트가 기대 SARSA와 동치임을 보이며, 이는 분산 감소와 표준 탐색 전략과의 호환성을 보장한다.

실험 결과

연구 질문

• RQ1 통계역학의 분할함수 형식이 강화학습 문제에 의미적으로 적용될 수 있는가?
• RQ2 MDP 내 $\mathcal{Z}$-함수가 벨만 방정식을 만족하는가? 그리고 결정론적 설정에서 닫힌 형태로 해를 구할 수 있는가?
• RQ3 분할함수 프레임워크와의 일관성을 유지하면서 $\mathcal{Z}$-함수를 확률적 환경으로 어떻게 확장할 수 있는가?
• RQ4 $\pi(a|s) \propto \mathcal{Z}(s,a,\beta)$로부터 유도된 정책의 특성은 무엇이며, 기존 볼츠만 정책과 어떻게 다를까?
• RQ5 $\mathcal{Z}$-함수 업데이트를 기반으로 한 모델-프리 강화학습 알고리즘을 구성할 수 있으며, 이는 명시적인 가치함수 표현을 피할 수 있는가?

주요 결과

• $\mathcal{Z}$-함수는 결정론적 MDP에서 선형이 되는 벨만 방정식을 만족하며, 이는 기존 가치함수 접근법에서 확보되지 않은 직접 해법을 가능하게 한다.
• 값 함수는 $Q(s,a,\beta) = \frac{\partial}{\partial\beta} \log \mathcal{Z}(s,a,\beta)$로 $\mathcal{Z}$-함수로부터 유도될 수 있으며, 이를 평균 에너지로 해석할 수 있다.
• 분할함수에서 유도된 정책은 볼츠만 유사이며, 많은 궤적이 가능한 상태를 자연스럽게 선호하며, 탐색 과정에 엔트로피를 내재적으로 통합한다.
• 제안된 학습 알고리즘은 $\mathcal{Z}$에 대한 기하학적 업데이트 규칙을 사용하며, 이는 $Q$-함수에 대해 기대 SARSA 업데이트를 유도하여 표준 SARSA보다 분산을 감소시킨다.
• 이 방법은 명시적인 가치함수 표현 없이도 모델-프리 강화학습을 가능하게 하며, 통계역학의 추상화에 기반한 새로운 패러다임을 제공한다.
• 이 접근법은 정책에 자연스러운 엔트로피 선호성을 제공하며, $\mathcal{Z}$-기반 정책은 궤적 다양성이 높은 상태를 선호한다. 이는 기존 강화학습 설정에서 명시적으로 반영되지 않은 특성이다.