[논문 리뷰] Actor-Critic Algorithms for Risk-Sensitive Reinforcement Learning.

L. A. Prashanth, Mohammad Ghavamzadeh|arXiv (Cornell University)|2014. 03. 25.

Reinforcement Learning in Robotics참고 문헌 46인용 수 4

한 줄 요약

이 논문은 할인율과 평균 보상 마르코프 결정 과정에서 기대 수익과 분산 관련 위험 측도를 동시에 최적화하는 위험 감수성 강화학습을 위한 액터-크리틱 알고리즘을 제안한다. 세 가지 시간스케일 접근법—TD 크리틱, 정책 기울기 액터, 라그랑주 승수에 대한 이중 상승—을 사용하여 국소적 위험 감수성 최적 정책으로 수렴 가능하며, 교통 신호 제어에서 실증적으로 검증된다.

ABSTRACT

In many sequential decision-making problems we may want to manage risk by minimizing some measure of variability in rewards in addition to maximizing a standard criterion. Variance related risk measures are among the most common risk-sensitive criteria in finance and operations research. However, optimizing many such criteria is known to be a hard problem. In this paper, we consider both discounted and average reward Markov decision processes. For each formulation, we first define a measure of variability for a policy, which in turn gives us a set of risk-sensitive criteria to optimize. For each of these criteria, we derive a formula for computing its gradient. We then devise actor-critic algorithms that operate on three timescales a TD critic on the fastest timescale, a policy gradient (actor) on the intermediate timescale, and a dual ascent for Lagrange multipliers on the slowest timescale. In the discounted setting, we point out the difficulty in estimating the gradient of the variance of the return and incorporate simultaneous perturbation approaches to alleviate this. The average setting, on the other hand, allows for an actor update using compatible features to estimate the gradient of the variance. We establish the convergence of our algorithms to locally risk-sensitive optimal policies. Finally, we demonstrate the usefulness of our algorithms in a traffic signal control application.

연구 동기 및 목표

• 순차적 결정 문제에서 기대 수익과 수익 변동성을 균형 잡는 위험 감수성 기준을 최적화하는 데 도전하는 것.
• 할인율과 평균 보상 MDP 모두에서 분산 기반 위험 측도를 위한 통합 프레임워크를 개발하는 것.
• 수익의 분산 또는 장기 수익의 분산을 포함하는 위험 감수성 목표 함수의 기울기 공식을 유도하는 것.
• 복잡한 위험 감수성 최적화에서 수렴 보장을 갖는 안정적인 학습 알고리즘을 설계하는 것.
• 실세계 응용 분야인 위험 인지형 교통 신호 제어에서 접근 방식을 검증하는 것.

제안 방법

• 할인율과 평균 보상 MDP 모두에서 수익의 변동성(예: 분산)을 측정하는 방법을 사용해 위험 감수성 기준을 수식화하는 것.
• 두 수식 모두에서 수익의 분산에 대한 분석적 기울기를 도출하여 정책 최적화를 가능하게 하는 것.
• 세 가지 시간스케일 알고리즘을 적용: 가장 빠른 시간스케일에서 TD 학습, 중간 시간스케일에서 정책 기울기 업데이트, 가장 느린 시간스케일에서 라그랑주 승수에 대한 이중 상승.
• 할인율 설정에서 계산적으로 다루기 어려운 분산 기울기를 추정하기 위해 동시 섭동 확률적 근사법을 사용하는 것.
• 평균 보상 설정에서 효율적이고 일관된 분산 기울기 추정을 가능하게 하기 위해 호환성 함수 특징을 적용하는 것.
• 제약 조건을 위험 측도에 부여하기 위해 라그랑주 풀이를 통합하여 이중 상승을 통한 최적화를 가능하게 하는 것.

실험 결과

연구 질문

• RQ1 분산 기반 위험 측도는 할인율과 평균 보상 MDP 모두에서 강화학습의 목표 함수에 효과적으로 통합될 수 있는가?
• RQ2 수익 분산을 포함하는 위험 감수성 기준을 최적화하기 위한 안정적이고 수렴 가능한 알고리즘 프레임워크는 무엇인가?
• RQ3 계산적으로 다루기 어려운 분산 기울기를 고려할 때, 할인율 설정에서 수익의 분산 기울기를 신뢰성 있게 추정하는 방법은 무엇인가?
• RQ4 평균 보상 설정에서 호환성 함수 특징은 정책 업데이트를 위한 정확하고 효율적인 분산 기울기 추정을 가능하게 하는가?
• RQ5 제안된 알고리즘은 교통 신호 제어와 같은 실세계 적용 분야에서 위험 인지형 결정의 향상에 어느 정도 기여하는가?

주요 결과

• 제안된 세 시간스케일 액터-크리틱 알고리즘은 할인율 및 평균 보상 수식 모두에서 국소적 위험 감수성 최적 정책으로 수렴한다.
• 동시 섭동 확률적 근사법을 통해 할인율 설정에서 수익의 분산 기울기 추정이 효과적으로 가능해져 계산의 비가역성 문제를 해결한다.
• 평균 보상 설정에서는 호환성 특징 덕분에 분산 기울기 추정이 일관되고 효율적이며, 정책 업데이트를 단순화한다.
• 교통 신호 제어 응용에서 보상 변동성을 줄이면서도 높은 기대 수익을 유지하는 데 성공했다.
• 실증 결과는 다양한 교통 조건에서 위험 감수성 정책이 표준 위험 중립 정책보다 안정성과 내구성 측면에서 뛰어나다는 것을 입증한다.