[논문 리뷰] The Value Function Polytope in Reinforcement Learning

Robert Dadashi, Adrien Ali Taïga외 3명|arXiv (Cornell University)|2019. 01. 31.

Reinforcement Learning in Robotics인용 수 12

한 줄 요약

이 논문은 유한 상태 마르코프 결정 과정에서 가능한 모든 가치 함수의 기하적 표현인 가치 함수 다면체를 도입한다. 이는 비볼록이거나 자기교차를 가질 수 있는 다면체임을 보여주며, 핵심 기여로는 '선 정리'를 제시한다. 이 정리는 한 상태에서 정책을 변화시킬 경우 가치 함수 공간에서 단조 증가하는 선분이 생성됨을 보여주며, 강화학습의 동역학에 대한 새로운 시각화와 통찰을 가능하게 한다.

ABSTRACT

We establish geometric and topological properties of the space of value functions in finite state-action Markov decision processes. Our main contribution is the characterization of the nature of its shape: a general polytope (Aigner et al., 2010). To demonstrate this result, we exhibit several properties of the structural relationship between policies and value functions including the line theorem, which shows that the value functions of policies constrained on all but one state describe a line segment. Finally, we use this novel perspective to introduce visualizations to enhance the understanding of the dynamics of reinforcement learning algorithms.

연구 동기 및 목표

• 유한 상태 MDP에서 가치 함수 공간의 기하학적 및 위상수학적 구조를 규명하는 것.
• 정책 변화와 그로 인한 가치 함수 변화 간의 관계를 분석하며, 특히 제약 조건이 있는 정책 변화에 초점을 맞추는 것.
• 가치 함수 다면체를 활용해 강화학습 알고리즘의 새로운 시각화를 개발하여 알고리즘의 행동과 수렴 성질을 이해하는 데 기여하는 것.
• 다면체의 구조적 특성(예: 면과 부분다면체)이 정책의 결정성과 정책 변화의 차원 수와 어떻게 관련되어 있는지 탐색하는 것.
• 가치 함수 다면체의 관점에서 일반적인 강화학습 알고리즘(예: 정책 그래เดียน트, 자연 정책 그래디언트, CEM)의 동역학을 분석하는 것.

제안 방법

• 정책에서 가치 함수로의 사상 $ f_v: \pi \mapsto V^\pi $ 를 정의하며, $ V^\pi $ 를 $ \mathbb{R}^{|\mathcal{S}|} $ 내의 벡터로 간주한다.
• '선 정리'를 증명한다: 모든 상태를 제외한 한 상태를 제외하고 동일한 정책을 가진 정책들은 가치 함수 공간에서 단조 증가하는 선분을 형성한다.
• 다면체의 $ d $차원 면을 정의하며, 이는 최소한 $ d $개의 상태에서 결정적인 정책과 대응됨을 규명한다.
• 선 정리를 고차원으로 일반화하여, $ d $개 상태에서 정책을 변화시킬 경우 전체 가치 함수 다면체 내에 $ d $차원 부분다면체가 생성됨을 보여준다.
• 볼록 해석학과 위상수학을 활용해, 비볼록이거나 자기교차를 가질 수 있는 경우에도 다면체의 구조를 수립한다.
• 가치 함수 다면체 위에서 강화학습 알고리즘(가치 반복, 정책 반복, 정책 그래디언트, 자연 정책 그래디언트, CEM)의 학습 동역학을 시각화하여 수렴 패턴과 함정을 드러낸다.

실험 결과

연구 질문

• RQ1 유한 MDP에서 정적 정책이 유도하는 모든 가치 함수의 기하학적 구조는 무엇인가?
• RQ2 한 상태에서 정책을 변화시킬 경우 결과 가치 함수는 어떻게 변화하며, 이는 가치 함수 공간에서 선분으로 특징지을 수 있는가?
• RQ3 가치 함수 다면체의 면의 차원과 기저 정책의 결정성 간의 관계는 무엇인가?
• RQ4 일반적인 강화학습 알고리즘이 가치 함수 다면체를 어떻게 탐색하는가? 그 궤적을 시각화함으로써 어떤 통찰을 얻을 수 있는가?
• RQ5 다면체의 구조적 특성이 정책 그래디언트 및 CEM 방법에서 관찰되는 느린 수렴 또는 최적해가 아닌 수렴 현상을 설명할 수 있는가?

주요 결과

• 정책에서 가치 함수로의 사상의 이미지는 비볼록이거나 자기교차를 가질 수 있는 다면체를 형성하며, 이는 유한 상태 MDP에서 성립한다.
• '선 정리'는 한 상태의 행동만 다를 경우 가치 함수가 가치 함수 공간에서 단조 증가하는 선분 위에 놓임을 보여준다.
• 가치 함수 다면체의 각 $ d $차원 면은 최소한 $ d $개 상태에서 결정적인 정책과 대응된다.
• 정책을 $ d $개 상태에서 변화시킬 경우 전체 가치 함수 다면체 내에 $ d $차원 부분다면체가 생성된다.
• 정책 그래디언트 방법은 다면체의 꼭짓점에서 다른 꼭짓점으로 이동하는 경향이 있으며, 정책 반복과 유사하며, 최적해가 아닌 정책으로 수렴함으로써 느려질 수 있다.
• 정책 그래디언트에 대한 엔트로피 정규화는 다면체의 경계에서 멀어지는 방향으로 이동을 장려하며, 이는 수렴 속도를 향상시킬 수 있지만 최적해가 아닌 정책으로 수렴할 가능성을 증가시킬 수 있다.