[논문 리뷰] Cautious Reinforcement Learning via Distributional Risk in the Dual Domain

Junyu Zhang, Amrit Singh Bedi외 2명|arXiv (Cornell University)|2020. 02. 27.

Reinforcement Learning in Robotics참고 문헌 33인용 수 10

한 줄 요약

이 논문은 선형 프로그래밍의 이중 도메인에서 분포 위험 페널티로 경계를 정의하는 새로운 위험 민감 강화학습 프레임워크를 제안한다. 이는 KL 발산 정규화를 통한 확률적 원-이중 방법을 통해 효율적이고 모델 프리 학습을 가능하게 하며, 위험 중립 강화학습에서 가장 잘 알려진 결과와 동일한 샘플 복잡도를 달성한다. 상태 및 행동 공간 크기와의 밀접한 의존성과 함께, 추가적인 계산 비용 없이도 보다 높은 신뢰성 있는 보상 누적을 실현한다.

ABSTRACT

We study the estimation of risk-sensitive policies in reinforcement learning problems defined by a Markov Decision Process (MDPs) whose state and action spaces are countably finite. Prior efforts are predominately afflicted by computational challenges associated with the fact that risk-sensitive MDPs are time-inconsistent. To ameliorate this issue, we propose a new definition of risk, which we call caution, as a penalty function added to the dual objective of the linear programming (LP) formulation of reinforcement learning. The caution measures the distributional risk of a policy, which is a function of the policy's long-term state occupancy distribution. To solve this problem in an online model-free manner, we propose a stochastic variant of primal-dual method that uses Kullback-Lieber (KL) divergence as its proximal term. We establish that the number of iterations/samples required to attain approximately optimal solutions of this scheme matches tight dependencies on the cardinality of the state and action spaces, but differs in its dependence on the infinity norm of the gradient of the risk measure. Experiments demonstrate the merits of this approach for improving the reliability of reward accumulation without additional computational burdens.

연구 동기 및 목표

• 장기적인 상태-행동 점유도 분포를 기반으로 한 새로운 측정법인 '경계'를 정의하여 위험 민감 강화학습에서 시간에 따라 일관되지 않은 위험의 문제를 해결한다.
• 강화학습의 선형 프로그래밍 이중형식에 경계를 페널티로 통합하여, 위험에 민감한 환경에서 효율적이고 온라인, 모델 프리 정책 최적화를 가능하게 한다.
• 위험 중립 강화학습과 동일한 샘플 복잡도를 확보하면서도 다항 시간 수렴성을 확보하고 강력한 이론적 보장을 유지한다.
• 기대 수익과 분포 위험 간의 트레이드오프를 조정하여 안전 중심 환경에서의 보상 누적 신뢰도를 향상시킨다.
• 블록 좌표 상승법을 사용하여 비볼록 경계 위험 함수로의 확장을 가능하게 하며 수렴 성질을 유지한다.

제안 방법

• 정책의 장기적인 상태-행동 점유도 분포를 기반으로 한 위험 측정법인 '경계'를 도입하여 이중 도메인에서 분포 위험을 정량화한다.
• 경계를 이중 목표에 페널티로 추가한 이중 도메인 최적화로 강화학습 문제를 재구성함으로써 볼록성 확보 및 점유도 분포 직접 제어 가능.
• 학습 안정성과 수렴 보장 확보를 위해 KL 발산을 프록시 항으로 사용하는 확률적 원-이중 알고리즘 개발.
• 비볼록 경계 위험 함수로의 확장을 위해 블록 좌표 상승(BCA) 적용, 이론적 수렴성 유지.
• MDP의 선형 프로그래밍 설정을 활용하고 강력한 이중성 원리를 적용하여 이중 문제 유도, 정책 기울기 효율적 계산 가능.
• 유한 분산을 가진 샘플 기반 기울기 추정을 사용하여 표준 가정 하에 타이트한 샘플 복잡도로 수렴 보장.

실험 결과

연구 질문

• RQ1 위험 회피 MDP에서 시간에 따라 일관되지 않은 위험 문제로 인해 계산 비용이 증가하는 위험 민감 강화학습을 어떻게 효율적으로 만들 수 있는가?
• RQ2 장기적인 정책 행동을 반영할 수 있고 효율적 최적화를 가능하게 하는 새로운 위험 측정법인 '경계'를 정의할 수 있는가?
• RQ3 제안된 온라인, 모델 프리 알고리즘의 샘플 복잡도는 무엇이며, 위험 중립 강화학습과 비교해 볼 때 어떻게 다른가?
• RQ4 KL 발산을 프록시 항으로 통합함으로써 원-이중 방법의 수렴성과 안정성에 어떤 영향을 미치는가?
• RQ5 수렴 보장을 유지하면서도 비볼록 경계 위험 함수로의 확장을 어떻게 수행할 수 있는가?

주요 결과

• 제안된 알고리즘은 $\mathcal{O}\left(\frac{| olimits\mathcal{S}||\mathcal{A}|\log(|\mathcal{S}||\mathcal{A}|)}{(1-\gamma)^4\epsilon^2}\left(1 + (1-\gamma)^2(c^2 + M^2)\right)\right)$ 의 샘플 복잡도를 확보하며, 위험 중립 강화학습에서 관찰되는 상태 및 행동 공간 기수의 타이트한 의존성과 일치한다.
• 알고리즘이 $\mathbb{E}[\|\lambda^{k^*}_* - \lambda^{k^*-1}\|^2] \leq \frac{4\epsilon}{M}$ 를 만족함으로써 안정적인 반복 및 기대 이중 갭의 근사 최적성 입증.
• 실험 결과는 추가적인 계산 비용 없이도 보상 누적의 신뢰도 향상을 확인한다.
• KL 정규화를 통한 확률적 원-이중 알고리즘은 온건한 가정 하에 수렴을 보장하며 기울기 및 이중 변수 안정성에 대한 이론적 보장을 제공한다.
• 블록 좌표 상승 확장으로 비볼록 경계 위험 함수 처리 가능하며 수렴성 유지, 이로 인해 적용 범위 확장.
• 경계 측정법은 분포 위험을 효과적으로 포착하여 기대 수익과 정책 행동의 불확실성 간 튜너블 트레이드오프 가능.