[논문 리뷰] An Alternative to Variance: Gini Deviation for Risk-averse Policy Gradient

Yudong Luo, Guiliang Liu외 2명|arXiv (Cornell University)|2023. 07. 17.

Health Systems, Economic Evaluations, Quality of LifeEconomics, Econometrics and Finance인용 수 3

한 줄 요약

이 논문은 위험 회피 정책 그래เดียน트 강화학습을 위한 분산 측정법으로 분산보다 우월한 기여도 편차(Gini deviation, GD)를 제안한다. GD의 분위수 표현에서 유도된 정책 그래디언트 알고리즘을 통해 높은 수익과 낮은 위험을 동시에 달성하며, 특히 분산 기반 방법이 수렴하지 못하는 도메인에서 학습 안정성과 강건성 면에서 분산 기반 접근법을 능가한다.

ABSTRACT

Restricting the variance of a policy's return is a popular choice in risk-averse Reinforcement Learning (RL) due to its clear mathematical definition and easy interpretability. Traditional methods directly restrict the total return variance. Recent methods restrict the per-step reward variance as a proxy. We thoroughly examine the limitations of these variance-based methods, such as sensitivity to numerical scale and hindering of policy learning, and propose to use an alternative risk measure, Gini deviation, as a substitute. We study various properties of this new risk measure and derive a policy gradient algorithm to minimize it. Empirical evaluation in domains where risk-aversion can be clearly defined, shows that our algorithm can mitigate the limitations of variance-based risk measures and achieves high return with low risk in terms of variance and Gini deviation when others fail to learn a reasonable policy.

연구 동기 및 목표

• 분산 기반 위험 측정법이 평균-분산 강화학습에서 보여주는 한계, 즉 보상 스케일링에 민감하거나 정책 학습에 간섭하는 문제를 해결하기 위해.
• 보상 신호를 왜곡하지 않으면서 위험을 더 잘 포착하는 더 강건한 산란 측정법으로 기여도 편차(GD)를 제안하기 위해.
• 분위수 기반 그래디언트 추정기를 사용해 GD를 최소화하는 실용적인 정책 그래디언트 알고리즘을 개발하기 위해.
• 어려운 환경에서 GD 기반 학습이 분산 기반 방법보다 더 높은 수익과 낮은 위험을 달성하는지 경험적으로 검증하기 위해.
• 분산 기반 접근법이 안정적인 정책을 학습하지 못하는 위험 회피 도메인에서 본 방법의 우월성을 입증하기 위해.

제안 방법

• 기여도 평균 차이를 사용해 수익의 산란을 측정하는 Gini 기여도 편차(GD)를 새로운 위험 측정법으로 제안하여, 분산보다 더 명확한 해석성과 강건성을 제공한다.
• GD의 분위수 표현에서 유도된 정책 그래디언트 업데이트를 통해 미분 가능한 최적화를 가능하게 하여, 이중 샘플링이나 복잡한 보상 수정이 필요 없도록 한다.
• 샘플 기반 추정기를 사용해 GD의 그래디언트를 계산하여, 표준 오프-폴리시 또는 온-폴리시 강화학습 프레임워크와 함께 엔드 투 엔드 학습이 가능하도록 한다.
• 정책 그래디언트 프레임워크 내에서 GD 최소화 목표를 적용함으로써, 표준 강화학습과 동일한 정책 아키텍처와 학습 절차를 유지하면서도 위험 정규화 항을 추가한다.
• 기대 수익과 GD를 균형 잡는 수정된 정책 업데이트 규칙을 사용하며, 위험 회피 성향 조정을 위한 하이퍼파라미터를 도입한다.
• MuJoCo, Lunar Lander 및 자체 설계한 위험 회피 환경에서 방법을 검증하여, 분산 기반 및 위험 중립 기반 기준선과 비교한다.

실험 결과

연구 질문

• RQ1 기여도 편차는 평균-분산 강화학습에서 분산보다 더 강건하고 효과적인 위험 측정법으로 기능할 수 있는가?
• RQ2 GD를 분산 대신 사용할 경우, 위험 회피 RL 환경에서 정책 학습의 안정성과 수렴성에 향상이 이루어지는가?
• RQ3 수익과 위험(분산과 GD로 측정) 측면에서 제안된 GD 기반 정책 그래디언트 방법은 분산 기반 방법과 비교해 어떻게 다른가?
• RQ4 분산 기반 방법이 학습에 실패하는 환경에서, GD 기반 방법은 여전히 높은 수익과 낮은 위험의 정책을 발견할 수 있는가?
• RQ5 분산 기반 접근법에 비해 GD 기반 방법은 보상 스케일링과 보상 형상 조정에 얼마나 민감한가?

주요 결과

• 제안된 기여도 편차 기반 방법은 분산 기반 방법이 수렴하지 못하거나 불안정한 행동을 보이는 환경에서도 위험 회피 정책을 성공적으로 학습한다.
• 위치 기반 위험 도메인(예: 가드드 미로)에서는, 분산 기반 방법 대비 더 낮은 노이즈 영역 방문 비율(예: 10% 대비 20%)을 달성하면서도 더 높은 기대 수익을 확보한다.
• 거리 기반 위험 도메인(예: 보상이 감소하는 HalfCheetah 및 스위머)에서는, 오직 GD 기반 방법(MG)만이 일관된 전진 이동 경향을 보이며, 더 뛰어난 위험 인식 행동을 나타낸다.
• 기타 방법이 합리적인 정책을 학습하지 못하는 상황에서도, GD 기반 방법은 위험 중립 또는 분산 기반 기준선보다 훨씬 높은 수익과 낮은 위험(분산과 기여도 편차로 측정)을 달성한다.
• 모든 평가 환경에서, 특히 복잡한 MuJoCo 작업에서 GD 기반 방법은 분산 기반 방법보다 낮은 수익 분산과 기여도 편차를 유지한다.
• 본 방법은 보상 스케일링에 강건하며, 분산 기반 접근법에서 사용하는 보상 수정 전략이 초래하는 정책 품질 저하를 피한다.