[논문 리뷰] On the Convergence and Optimality of Policy Gradient for Markov Coherent Risk

Audrey Huang, Liu Leqi외 2명|arXiv (Cornell University)|2021. 03. 04.

Reinforcement Learning in Robotics참고 문헌 27인용 수 5

한 줄 요약

이 논문은 마르코프 일관된 위험(MCR) 최적화에서 정책 그래디언트(PG) 방법에 대한 이론적 수렴 보장을 수립한다. PG가 일반적으로 전역 최적해로 수렴하지 않는 것은 그래디언트 지배성의 부재로 인한 것으로 밝혀졌으며, 상태 분포 재가중 기법을 사용하는 실용적인 PG 알고리즘을 제안하고, 위험 민감도와 목적 함수의 비선형성에 따라 달라지는 날카운 suboptimality bound를 제공한다. 이는 위험 민감한 강화학습 환경에서 실용적으로 효과적임을 보여준다.

ABSTRACT

In order to model risk aversion in reinforcement learning, an emerging line of research adapts familiar algorithms to optimize coherent risk functionals, a class that includes conditional value-at-risk (CVaR). Because optimizing the coherent risk is difficult in Markov decision processes, recent work tends to focus on the Markov coherent risk (MCR), a time-consistent surrogate. While, policy gradient (PG) updates have been derived for this objective, it remains unclear (i) whether PG finds a global optimum for MCR; (ii) how to estimate the gradient in a tractable manner. In this paper, we demonstrate that, in general, MCR objectives (unlike the expected return) are not gradient dominated and that stationary points are not, in general, guaranteed to be globally optimal. Moreover, we present a tight upper bound on the suboptimality of the learned policy, characterizing its dependence on the nonlinearity of the objective and the degree of risk aversion. Addressing (ii), we propose a practical implementation of PG that uses state distribution reweighting to overcome previous limitations. Through experiments, we demonstrate that when the optimality gap is small, PG can learn risk-sensitive policies. However, we find that instances with large suboptimality gaps are abundant and easy to construct, outlining an important challenge for future research.

연구 동기 및 목표

• 마르코프 일관된 위험(MCR) — 일관된 위험 함수의 시간 일관성 있는 대체 함수 — 를 최적화할 때 정책 그래디언트(PG) 방법이 전역 최적해로 수렴하는지 조사한다.
• 특히 온라인 및 오프-폴리시 설정에서 MCR 그래디언트를 실용적으로 추정하는 데 도전하는 문제를 해결한다.
• 목적 함수의 비선형성과 위험 회피 정도와의 관계에서 MCR 하에서 PG 해의 비최적성 정도를 규명한다.
• 재가중된 상태 분포에서의 샘플링을 요구하는 이전 가정을 피하는 실용적인 PG 알고리즘을 개발한다.
• 위험 민감한 환경에서 제안된 방법을 경험적으로 검증하여, 내재된 비최적성 갭에도 불구하고 그 효과성을 입증한다.

제안 방법

• 재가중된 분포에서 직접 샘플링이 필요 없도록, 함수 근사 기법을 활용한 상태 분포 재가중 기법을 사용해 MCR 그래디언트를 추정하는 새로운 정책 그래디언트 알고리즘을 제안한다.
• Liu 등(2018)의 오프-폴리시 평가 기법을 활용해 상태 분포 이탈을 보정하고, 온라인 강화학습 설정에서 실용적인 그래디언트 추정을 가능하게 한다.
• 정책, 위험 엔velope, 이중 변수에 대한 그래디언트 계산을 가능하게 하기 위해 MCR 목적 함수의 라그랑주 형태를 유도한다.
• 이중 최적화 프레임워크를 도입: 하나는 ξ-네트워크를 통해 위험 엔벨로프를 학습하고, 다른 하나는 λ-네트워크를 통해 이중 변수를 학습하며, 최소-최대 갱신 방식을 사용한다.
• MCR 그래디언트 계산에 필요한 재가중 분포에 대한 기댓값을 근사하기 위해 정적 상태 분포 재가중 기법을 적용한다.
• 그래디언트 추정기법을 액터-크리틱 프레임워크에 통합하여, 표준 PG 업데이트를 사용한 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 MCR 목적 함수는 그래디언트 지배성을 가지는가? 그리고 이는 PG가 전역 최적해로 수렴함을 의미하는가?
• RQ2 MCR 최적화에서 정적 점의 비최적성 갭에 대해 가능한 가장 날카운 상한 경계는 무엇인가?
• RQ3 재가중된 상태 분포에 대한 액세스를 가정하지 않고도 MCR 그래디언트를 실용적이고 실용적으로 추정할 수 있는가?
• RQ4 비최적성 갭은 위험 민감도와 목적 함수의 비선형성에 따라 어떻게 달라지는가?
• RQ5 강한 샘플링 가정을 피하고 경험적 평가를 가능하게 하는 실용적인 MCR용 PG 알고리즘을 설계하고 구현할 수 있는가?

주요 결과

• 일반적으로 MCR 목적 함수는 그래디언트 지배성을 가지지 않으며, 이는 정책 그래디언트 방법이 전역 최적해로 수렴한다는 보장을 하지 못함을 의미한다.
• 목적 함수의 비선형성과 위험 회피 정도에 따라 달라지는 비최적성 갭에 대한 날카운 상한 경계가 유도되었다.
• MCR에 대해 투영된 그래디언트 강하법은 잔차와 동일한 경계를 가진 해로 수렴하며, 수렴 속도는 O(1/√T)를 달성한다.
• 기대 수익 상황에서는 비최적성 갭이 사라지며, 기존 표준 PG 이론의 알려진 수렴 결과를 회복한다.
• 상태 분포 재가중 기법을 사용한 제안된 방법은 이전에 재가중된 분포에서의 샘플링을 가정하는 제약를 극복하고 MCR에 대한 실용적인 PG 학습을 가능하게 한다.
• 실험 결과, 비최적성 갭이 작을 경우 PG는 위험 민감한 정책을 학습할 수 있음을 보였지만, 큰 갭은 흔하고 쉽게 구성 가능하므로 향후 연구의 핵심 과제임을 시사한다.