[논문 리뷰] Revisit Policy Optimization in Matrix Form

Sitao Luan, Xiao-Wen Chang외 1명|arXiv (Cornell University)|2019. 09. 19.

Optimization and Search Problems참고 문헌 4인용 수 6

한 줄 요약

이 논문은 정책을 환경의 동역학으로부터 분리하는 행렬 형태의 정책 최적화를 제안하여, 더 효율적이고 해석 가능한 최적화를 가능하게 한다. 전이 행렬과 정책 벡터를 분리하여 가치 함수와 정책 기울기를 재구성함으로써, 정책 기울기와 TRPO를 통합하는 프레임워크를 제공하며, 기울기 정확성에 대한 이론적 보장을 제공하고 모델 기반 강화학습으로의 확장 가능성도 있다.

ABSTRACT

In tabular case, when the reward and environment dynamics are known, policy evaluation can be written as $\bm{V}_{\bmπ} = (I - γP_{\bmπ})^{-1} \bm{r}_{\bmπ}$, where $P_{\bmπ}$ is the state transition matrix given policy ${\bmπ}$ and $\bm{r}_{\bmπ}$ is the reward signal given ${\bmπ}$. What annoys us is that $P_{\bmπ}$ and $\bm{r}_{\bmπ}$ are both mixed with ${\bmπ}$, which means every time when we update ${\bmπ}$, they will change together. In this paper, we leverage the notation from \cite{wang2007dual} to disentangle ${\bmπ}$ and environment dynamics which makes optimization over policy more straightforward. We show that policy gradient theorem \cite{sutton2018reinforcement} and TRPO \cite{schulman2015trust} can be put into a more general framework and such notation has good potential to be extended to model-based reinforcement learning.

연구 동기 및 목표

• 표본 MDP에서 정책에 의존하는 전이 및 보상 행렬로 인해 정책 최적화가 복잡해지는 문제를 해결하기 위해.
• 정책을 환경의 동역학으로부터 분리하는 행렬 기반 표기법을 개발하여, 가치 함수가 정책 파라미터에 명시적으로 의존하도록 하기 위해.
• 이 프레임워크 내에서 정책 기울기와 TRPO를 재구성하여 최적화와 이론적 분석을 더 명확히 하기 위해.
• 환경의 동역학을 정책과 별도로 추정할 수 있도록 하여 모델 기반 강화학습으로의 잠재적 확장 가능성을 제공하기 위해.

제안 방법

• 전이 행렬 $P$ 를 정책 $\bm{\pi}$ 로부터 분리하는 행렬 표현을 도입하며, $P \in \mathbb{R}^{|S||A| \times |S|}$ 이고 $\bm{\pi} \in \mathbb{R}^{|S||A| \times 1}$ 이다.
• 상태-행동 가치 함수를 $\bm{V}_{\bm{\pi}} = (I - \gamma P\Pi)^{-1}\bm{r}_{\bm{\pi}}$ 로 표현하며, 여기서 $\Pi$ 는 정책을 표현하는 대각 행렬이다.
• 가치 함수의 트레이스 기반 미분을 통해 정책 기울기를 유도하여 $\nabla_\theta \eta(\bm{\pi}_\theta) = \text{trace}(\bm{A}_{\bm{\pi}} \bm{\rho}_0^T \frac{\partial \Pi_\theta}{\partial \theta})$ 를 도출한다.
• 진정한 정책 기울기를 분해하기 위해 $L^2$, $L^3$, $L^4$ 의 근사 함수를 제안하며, $L^2 + L^3$ 이 첫 번째 차수에서 진정한 기울기와 일치한다.
• 식 $\nabla_\theta \eta(\bm{\pi}_\theta) = \nabla_\theta L^2 + \nabla_\theta L^3$ 을 사용하여 안정적인 정책 업데이트를 가능하게 한다.
• 근사치와 진정한 목표 간의 오차 한계를 설정하여, $\|\eta(\tilde{\bm{\pi}}) - L^3(\tilde{\bm{\pi}})\| \leq \frac{\gamma \sqrt{2D_{KL}(\bm{\pi}, \tilde{\bm{\pi}})} \|\bm{A}_{\bm{\pi}}\|}{1 - \gamma}$ 를 도출한다.

실험 결과

연구 질문

• RQ1 정책 최적화를 정책과 환경의 동역학을 분리하는 행렬 형태로 재구성할 수 있는가?
• RQ2 이 재구성은 정책 목표의 더 직접적이고 효율적인 최적화를 가능하게 하는가?
• RQ3 이 새로운 행렬 프레임워크 하에서 정책 기울기 정리와 TRPO를 통합할 수 있는가?
• RQ4 이 표현에서 도출된 기울기 근사치의 정확도는 어느 정도인가?
• RQ5 근사된 정책 목표와 진정한 정책 목표 사이의 이론적 오차 한계는 무엇인가?

주요 결과

• 행렬 표현은 정책 $\bm{\pi}$ 를 환경의 동역학 $P$ 로부터 성공적으로 분리하여, $\bm{V}_{\bm{\pi}} = (I - \gamma P\Pi)^{-1}\bm{r}_{\bm{\pi}}$ 를 통해 $\bm{V}_{\bm{\pi}}$ 가 $\bm{\pi}$ 에 대해 명시적으로 의존하도록 한다.
• 정책 기울기는 $\nabla_\theta \eta(\bm{\pi}_\theta) = \text{trace}(\bm{A}_{\bm{\pi}} \bm{\rho}_0^T \frac{\partial \Pi_\theta}{\partial \theta})$ 로 유도되며, 이는 정확하고 계산 가능한 형태이다.
• 근사치의 분해 $\nabla_\theta L^2 + \nabla_\theta L^3 = \nabla_\theta \eta(\bm{\pi}_\theta)$ 는 근사치의 첫 번째 차수 정확성을 보장한다.
• $L^3$ 의 근사치는 오차가 유계임을 보이며, $\|\eta(\tilde{\bm{\pi}}) - L^3(\tilde{\bm{\pi}})\| \leq \frac{\gamma \sqrt{2D_{KL}(\bm{\pi}, \tilde{\bm{\pi}})} \|\bm{A}_{\bm{\pi}}\|}{1 - \gamma}$ 이다.
• $L^4$ 의 근사치는 이차 오차 유계를 가지며, $\|\eta(\tilde{\bm{\pi}}) - L^4(\tilde{\bm{\pi}})\| \leq \frac{2\gamma D_{KL}(\bm{\pi}, \tilde{\bm{\pi}}) \|\bm{A}_{\bm{\pi}}\|}{(1 - \gamma)^2}$ 이다.
• 환경의 동역학을 정책과 별도로 추정할 수 있도록 하여, 추정된 동역학 기반으로 가치 함수 업데이트가 가능한 모델 기반 RL을 지원한다.