[논문 리뷰] An operator view of policy gradient methods

Dibya Ghosh, Marlos C. Machado외 1명|arXiv (Cornell University)|2020. 06. 19.

Reinforcement Learning in Robotics참고 문헌 23인용 수 5

한 줄 요약

이 논문은 정책 그래เดียน트(PG) 방법을 연속적인 정책 개선 연산자와 실현 가능한 정책 위에 투영하는 연산자로 구성된 프레임워크로 제안한다. 이는 REINFORCE와 PPO와 같은 PG 방법들을 통합적으로 다루며, 벨만 연산자를 통해 가치 기반 방법과의 연결을 드러내고, 훈련 안정성과 이해도를 향상시키는 기존보다 더 낫지 않은 예상 수익에 대한 새로운 전역 하한을 유도한다.

ABSTRACT

We cast policy gradient methods as the repeated application of two operators: a policy improvement operator $\mathcal{I}$, which maps any policy $π$ to a better one $\mathcal{I}π$, and a projection operator $\mathcal{P}$, which finds the best approximation of $\mathcal{I}π$ in the set of realizable policies. We use this framework to introduce operator-based versions of traditional policy gradient methods such as REINFORCE and PPO, which leads to a better understanding of their original counterparts. We also use the understanding we develop of the role of $\mathcal{I}$ and $\mathcal{P}$ to propose a new global lower bound of the expected return. This new perspective allows us to further bridge the gap between policy-based and value-based methods, showing how REINFORCE and the Bellman optimality operator, for example, can be seen as two sides of the same coin.

연구 동기 및 목표

• 정책 그래데이언트 방법의 훈련 역학과 가치 기반 방법과의 연결 고리를 명확히 하는 통합된 연산자 기반 시각을 개발하는 것.
• 정책 그래데이언트 업데이트를 제약된 정책 클래스 위에 투영하는 정책 개선 연산자와 반복 적용하는 투영 연산자의 반복적 적용으로 공식화하는 것.
• 기존의 보수적인 정책 개선의 원칙적 대안이 되는 더 나은 수렴 행동을 보이는 새로운 예상 수익에 대한 전역 하한을 도출하는 것.
• 정책 기반 및 가치 기반 방법 간의 이론적 연결 고리를 확립하여, 이 프레임워크 하에서 REINFORCE와 벨만 최적성 연산자가 동일한 최적화 과정을 나타내며 서로 다른 매개변수화 방식을 가짐을 보여주는 것.
• 엔트로피 정규화, 보상 지수화, α-다른의를 사용한 행동 코딩과 같은 PG 방법의 실용적 설계 선택에 대한 새로운 통찰을 제공하는 것.

제안 방법

• 모든 정책 π를 더 나은 정책 𝒫π로 매핑하는 정책 개선 연산자 𝒫를 정의하며, 이는 엄격히 더 높은 예상 수익을 보장한다.
• 개선된 정책의 최적 근사치를 제약된 실현 가능한 정책 클래스 내에서 찾는 투영 연산자 ℙ를 도입한다.
• REINFORCE와 PPO와 같은 고전적 PG 방법들을 개선 연산자와 투영 연산자의 번갈아 적용으로 재구성한다.
• α-다른의를 기반으로 한 상태-행동 공식을 사용하여 예상 수익에 대한 새로운 전역 하한을 도출하며, 이는 원래 정책이 아닌 개선된 정책에서의 이탈을 처벌한다.
• 연산자 프레임워크 하에서 REINFORCE 업데이트와 벨만 최적성 연산자가 동치임을 증명하여, 서로 다른 매개변수화 방식을 가진 동일한 최적화 과정임을 보여준다.
• 연산자 프레임워크를 활용해 엔트로피 정규화와 보상 지수화가 정책 개선과 분산을 향상시키는 메커니즘으로서 기능함을 설명하며, 더 안정적인 업데이트를 이끌어낸다.

실험 결과

연구 질문

• RQ1 정책 그래데이언트 방법을 정책 개선 연산자와 제약된 정책 클래스 위에 투영하는 두 가지 기본 연산자의 반복적 적용으로 체계적으로 어떻게 볼 수 있는가?
• RQ2 정책 그래데이언트 방법과 Q-러닝과 같은 가치 기반 방법 간의 이론적 관계는 무엇이며, 특히 연산자 동치성 측면에서 어떻게 설명될 수 있는가?
• RQ3 기존의 보수적인 정책 개선 방식을 초월하여 훈련 역학을 더 잘 반영하는 새로운 예상 수익에 대한 전역 하한을 도출할 수 있는가?
• RQ4 엔트로피 정규화, 보상 지수화, 서면 목표 함수와 같은 PG 방법의 일반적인 설계 선택 사항들이 이 연산자 프레임워크에 어떻게 통합되는가?
• RQ5 이 연산자 프레임워크를 사용해 PPO, MPO, 그리고 α-다른의를 기반으로 한 이민 학습 방법과 같은 기존 알고리즘을 통합하거나 재해석할 수 있는가?

주요 결과

• 정책 그래데이언트 방법은 제약된 정책 클래스 위에 투영하는 정책 개선 연산자와 투영 연산자의 번갈아 적용으로 체계적으로 볼 수 있으며, 분석을 위한 통합된 프레임워크를 제공한다.
• REINFORCE 알고리즘은 이 프레임워크 하에서 벨만 최적성 연산자와 동치임이 입증되었으며, 정책 기반 및 가치 기반 방법 간의 깊은 연결 고리를 드러낸다.
• α-다른의를 기반으로 한 새로운 전역 하한이 도출되었으며, 이는 개선된 정책에서의 이탈을 처벌하여 전통적인 서면 목표 함수의 보수성 문제를 피한다.
• 엔트로피 정규화가 수익의 분산을 증가시켜 더 큰 정책 개선을 보장함을 입증하였으며, 이는 훈련 안정성을 높이는 데 효과적임을 설명한다.
• 완전한 투영 연산자 방향으로의 단일 그래디언트 단계조차도 정책을 향상시키는 것이 보장되며, 이는 부분 투영 전략에 대한 이론적 근거를 제공한다.
• MPO에서 사용되는 보상 지수화 역시 여전히 유효한 정책 개선 연산자임이 입증되었으며, 실용적 성공을 설명한다.