[논문 리뷰] Model-Free Risk-Sensitive Reinforcement Learning

Grégoire Delétang, Jordi Grau-Moya외 5명|arXiv (Cornell University)|2021. 11. 04.

Gene Regulatory Network Analysis인용 수 2

한 줄 요약

이 논문은 TD 오차의 과도 또는 과소평가를 위한 시그모이드형 소프트-지표를 Rescorla-Wagner 규칙에 도입하여 위험 감수성 강화학습을 위한 모델-프리 시간차 학습 규칙을 제안한다. 주요 기여는 가우시안 가정 하에서 이 규칙의 고정점이 자유 에너지(Fβ)와 정확히 일치하며, 이는 역온도 파rameter β에 따라 위험 회피성에서 위험 유혹성까지 변하는 위험 감수성 확실성 등가를 제공한다는 것이다.

ABSTRACT

We extend temporal-difference (TD) learning in order to obtain risk-sensitive, model-free reinforcement learning algorithms. This extension can be regarded as modification of the Rescorla-Wagner rule, where the (sigmoidal) stimulus is taken to be either the event of over- or underestimating the TD target. As a result, one obtains a stochastic approximation rule for estimating the free energy from i.i.d. samples generated by a Gaussian distribution with unknown mean and variance. Since the Gaussian free energy is known to be a certainty-equivalent sensitive to the mean and the variance, the learning rule has applications in risk-sensitive decision-making.

연구 동기 및 목표

• 위험 감수성 강화학습에서 자유 에너지를 추정하기 위한 모델-프리 알고리즘이 장기간 부재해 온 문제를 해결하기 위해.
• 환경의 모델이 필요 없이 위험 감수성 행동을 유도할 수 있는 단순하고 구현 가능한 학습 규칙을 제공하기 위해.
• 수익 분포가 가우시안일 경우, 이 규칙이 자유 에너지로의 이론적 수렴을 보장하기 위해.
• 실험적으로 이 규칙이 위험 회피성, 위험 중립성, 위험 유혹성 정책을 유도하며 직관적인 기대와 일치함을 보여주기 위해.

제안 방법

• TD 오차 δ가 목표를 과도 또는 과소평가할 때 활성화되는 소프트-시그모이드 함수 σβ(δ)로 이진 자극 지표를 대체하여 Rescorla-Wagner 규칙을 재해석한다.
• 위험 감수성 TD(0) 업데이트를 유도: V(s) ← V(s) + 2α·σβ(δ)·δ, 여기서 δ = R(s) + γV(s′) − V(s).
• 소프트 지표 σβ(δ)는 가우시안의 로그-분할 함수의 도함수로 정의되어 β의 부호에 민감하다.
• 수익 분포가 가우시안일 경우, 기대 업데이트 동역학의 고정점이 자유 에너지 Fβ임을 증명한다.
• 딥 강화학습에 적합하게 하기 위해 σβ(δ) 항에 정지기울기(Stop-gradient)를 적용하여 기존 딥 Q-네트워크에 통합 가능하게 한다.
• 테이블 기반 및 딥 강화학습 환경에서 규칙을 검증하였으며, 밴딧 작업과 R2D2 기반 에이전트를 포함한다.

실험 결과

연구 질문

• RQ1 알 수 없는 분포 하에서 위험 감수성 의사결정을 위한 자유 에너지를 추정할 수 있는 모델-프리 TD(0)-스타일 알고리즘이 가능한가?
• RQ2 수익 분포가 가우시안일 경우, 제안된 학습 규칙이 자유 에너지로 수렴하는가?
• RQ3 역온도 파rameter β의 다양한 값이 정책 행동의 위험 태도에 어떻게 영향을 미치는가?
• RQ4 학습 안정성이나 성능을 손상시키지 않고 이 규칙을 딥 강화학습 프레임워크에 통합할 수 있는가?
• RQ5 다양한 β 값을 가진 에이전트들이 지불하는 위험 프리미엄의 정성적·정량적 차이점은 무엇인가?

주요 결과

• Lemma 1에서 증명한 바와 같이, 수익 분포가 가우시안일 경우 제안된 학습 규칙은 정확히 자유 에너지 Fβ로 수렴한다.
• 규칙은 단조로운 위험 태도를 성공적으로 유도한다: β < 0일 경우 위험 회피성 정책, β > 0일 경우 위험 유혹성 정책, β = 0일 경우 표준 위험 중립성 TD(0)로 축소된다.
• 밴딧 실험에서 위험 회피성 에이전트(β = -1, -0.5)는 위험한 암부의 파라미터에만 의존하는 광범위한 확률적 선택 행동 영역을 보였으며, 이는 적대적 환경 가정을 시사한다.
• 위험 유혹성 에이전트(β > 0)는 더 높은 위험 프리미엄을 지불하는 경향이 있었으며, 그들의 무차별 곡선은 위험 중립 곡선 위로 이동하였다.
• 위험 중립성 에이전트(β = 0)는 훈련 중 노이즈 있는 탐색으로 인해 약간의 위험 회피 성향을 보였으며, 이는 실증 평가에서 잠재적 혼동 요인임을 시사한다.
• 규칙은 R2D2 에이전트의 손실에 σβ(δ) 항에 정지기울기를 적용하여 쉽게 딥 강화학습에 적응시킬 수 있었으며, 위험 감수성 가치 추정을 위한 안정적 훈련을 가능하게 하였다.