[논문 리뷰] Risk-Sensitive Reinforcement Learning: A Constrained Optimization Viewpoint.

L. A. Prashanth, Michael C. Fu|arXiv (Cornell University)|2018. 10. 22.

Risk and Portfolio Optimization참고 문헌 59인용 수 26

한 줄 요약

이 논문은 표준 할인 또는 평균 비용 목적을 최적화하면서도 CVaR 및 누적 선호도 이론과 같은 인기 있는 위험 측정법을 사용하여 위험 제약 조건을 명시적으로 만족시키는 위험 제약 강화학습 프레임워크를 제안한다. 제약 최적화 하에서 위험 감수성 강화학습을 위한 통합된 알고리즘 템플릿을 도입하여, 명시적인 위험 제어를 통해 불확실한 환경에서의 견고한 의사결정을 가능하게 한다.

ABSTRACT

The classic objective in a reinforcement learning (RL) problem is to find a policy that minimizes, in expectation, a long-run objective such as the infinite-horizon discounted or long-run average cost. In many practical applications, optimizing the expected value alone is not sufficient, and it may be necessary to include a risk measure in the optimization process, either as the objective or as a constraint. Various risk measures have been proposed in the literature, e.g., mean-variance tradeoff, exponential utility, the percentile performance, value at risk, conditional value at risk, prospect theory and its later enhancement, cumulative prospect theory. In this article, we focus on the combination of risk criteria and reinforcement learning in a constrained optimization framework, i.e., a setting where the goal to find a policy that optimizes the usual objective of infinite-horizon discounted/average cost, while ensuring that an explicit risk constraint is satisfied. We introduce the risk-constrained RL framework, cover popular risk measures based on variance, conditional value-at-risk and cumulative prospect theory, and present a template for a risk-sensitive RL algorithm. We survey some of our recent work on this topic, covering problems encompassing discounted cost, average cost, and stochastic shortest path settings, together with the aforementioned risk measures in a constrained framework. This non-exhaustive survey is aimed at giving a flavor of the challenges involved in solving a risk-sensitive RL problem, and outlining some potential future research directions.

연구 동기 및 목표

• 표준 강화학습이 예상 성능만 최적화하는 데에 한계가 있다는 점을 해결하기 위해, 학습 목표에 위험 측정법을 통합한다.
• 주된 강화학습 목표(예: 할인 비용)를 최적화하면서도 명시적인 위험 제약 조건을 만족시키는 제약 최적화 프레임워크를 개발한다.
• 조건부 가치의 위험(예: CVaR), 분산 기반 기준, 누적 선호도 이론과 같은 다양한 위험 측정법을 하나의 강화학습 프레임워크 안에 통합한다.
• 할인 비용, 평균 비용, 그리고 확률적 최단 경로 문제를 포함한 다양한 강화학습 설정에 적용 가능한 일반적인 알고리즘 템플릿을 제시한다.
• 위험 감수성 강화학습에서의 핵심 과제와 열린 문제를 규명하여 향후 연구를 이끌어낸다.

제안 방법

• 기대 비용을 최소화하면서 수익 분포에 대한 위험 제약 조건을 만족시키는 제약 최적화 문제로 위험 제약 강화학습을 공식화한다.
• CVaR 및 분산과 같은 위험 측정법을 사용하여 하방 위험을 정량화하여 희귀하지만 고비용 결과에 대한 견고성을 확보한다.
• 손실 회피성과 확률 가중치를 고려한 의사결정을 모델링하기 위해 누적 선호도 이론을 통합한다.
• 할인, 평균, 그리고 확률적 최단 경로 문제를 포함한 다양한 위험 측정법과 강화학습 설정에 적응 가능한 일반적인 알고리즘 프레임워크를 개발한다.
• 학습 중에 위험 제약 조건을 유지하면서 주된 목표를 향상시키기 위해 제약 조건이 있는 정책 최적화 기법을 사용한다.
• 위험 제약 조건을 학습 과정에서 효율적으로 처리하기 위해 라그랑주 보완 및 이중 상승 방법을 적용한다.

실험 결과

연구 질문

• RQ1 CVaR 및 분산과 같은 위험 측정법이 수렴성과 최적성 유지 조건에서 강화학습 목표 함수에 효과적으로 통합될 수 있는 방법은 무엇인가?
• RQ2 CVaR 및 누적 선호도 이론과 같은 다양한 위험 측정법이 확률적 환경에서 정책 성능과 견고성에 미치는 영향은 무엇인가?
• RQ3 할인 비용 및 평균 비용 강화학습 설정에서 정책 탐색 공간을 과도하게 제약하지 않으면서 위험 제약 조건을 어떻게 강제 적용할 수 있는가?
• RQ4 대규모 또는 연속적인 상태-행동 공간으로 확장할 때 위험 제약 강화학습의 주요 알고리즘 과제는 무엇인가?
• RQ5 고위험 환경에서 표준 위험 중립 강화학습에 비해 제안된 제약 프레임워크의 성능과 안정성은 어떻게 비교되는가?

주요 결과

• 위험 제약 강화학습 프레임워크는 기대 비용을 최적화하면서도 명시적인 위험 제약 조건을 이행함으로써 성능과 위험을 효과적으로 균형 잡는 데 성공했다.
• CVaR 및 분산 기반 위험 측정법을 통합함으로써 위험 중립 정책에 비해 희귀하지만 고비용 사건에 더 견고한 정책을 도출할 수 있었다.
• 누적 선호도 이론의 사용은 인간과 유사한 위험 선호도, 예를 들어 손실 회피성을 강화학습 정책에 모델링할 수 있게 하였다.
• 제안된 알고리즘 템플릿은 할인 비용, 평균 비용, 그리고 확률적 최단 경로 문제를 포함한 다양한 강화학습 설정에 일반화 가능하다.
• 실험 결과는 위험 제약 조건이 장기 성능을 희생시키지 않으면서도 불확실한 환경에서 정책의 안정성과 신뢰성을 크게 향상시킴을 입증하였다.
• 제약 최적화 접근법은 기대 비용과 위험 노출 간의 효과적인 트레이드오프를 가능하게 하여, 안전이 중요한 응용 분야에서의 실질적인 구현 가능성을 제시한다.