[논문 리뷰] Risk-Sensitive Reinforcement Learning: Near-Optimal Risk-Sample Tradeoff in Regret

Yingjie Fei, Zhuoran Yang외 3명|arXiv (Cornell University)|2020. 06. 22.

Reinforcement Learning in Robotics참고 문헌 58인용 수 9

한 줄 요약

이 논문은 모델에 의존하지 않는 강화학습 알고리즘인 위험 감수성 가치 반복(RSVI)과 위험 감수성 Q-학습(RSQ)을 제안한다. 이들은 지수_utility를 통해 위험 감수성을 통합하여 위험을 추구하거나 회피하는 에이전트 모두에 적응형 탐색을 가능하게 한다. 저자들은 위험 매개변수 $\beta$와 에피소드 길이 $H$에 대해 지수적 의존성을 가지는 근사 최적의 누적 손실 경계를 확립하며, 이 상호 간의 트레이드오프가 피할 수 없음을 증명하고, 알고리즘의 최적성에 대한 증명을 제공한다.

ABSTRACT

We study risk-sensitive reinforcement learning in episodic Markov decision processes with unknown transition kernels, where the goal is to optimize the total reward under the risk measure of exponential utility. We propose two provably efficient model-free algorithms, Risk-Sensitive Value Iteration (RSVI) and Risk-Sensitive Q-learning (RSQ). These algorithms implement a form of risk-sensitive optimism in the face of uncertainty, which adapts to both risk-seeking and risk-averse modes of exploration. We prove that RSVI attains an $ ilde{O}\big(λ(|β| H^2) \cdot \sqrt{H^{3} S^{2}AT} \big)$ regret, while RSQ attains an $ ilde{O}\big(λ(|β| H^2) \cdot \sqrt{H^{4} SAT} \big)$ regret, where $λ(u) = (e^{3u}-1)/u$ for $u>0$. In the above, $β$ is the risk parameter of the exponential utility function, $S$ the number of states, $A$ the number of actions, $T$ the total number of timesteps, and $H$ the episode length. On the flip side, we establish a regret lower bound showing that the exponential dependence on $|β|$ and $H$ is unavoidable for any algorithm with an $ ilde{O}(\sqrt{T})$ regret (even when the risk objective is on the same scale as the original reward), thus certifying the near-optimality of the proposed algorithms. Our results demonstrate that incorporating risk awareness into reinforcement learning necessitates an exponential cost in $|β|$ and $H$, which quantifies the fundamental tradeoff between risk sensitivity (related to aleatoric uncertainty) and sample efficiency (related to epistemic uncertainty). To the best of our knowledge, this is the first regret analysis of risk-sensitive reinforcement learning with the exponential utility.

연구 동기 및 목표

• 모르는 전이 커널을 가진 에피소드 MDP에서 위험 감수성 강화학습을 위한 증명 가능하게 효율적인 모델에 의존하지 않는 알고리즘을 개발하는 것.
• 위험 감수성 낙관주의를 통해 위험을 추구하거나 회피하는 행동 모두에 적응하는 탐색 전략을 설계하는 것.
• 위험 감수성과 샘플 효율성 사이의 기본적인 트레이드오프를 정량화하는 날카로운 누적 손실 경계를 확립하는 것.
• 누적 손실에 대한 $|\beta|$와 $H$에 대한 지수적 의존성이 어떤 알고리즘에도 피할 수 없음을 증명하여 제안된 알고리즘의 근사 최적성에 대한 증명을 제공하는 것.
• 지수_utility 함수를 사용한 위험 감수성 강화학습의 첫 번째 누적 손실 분석을 제공하는 것.

제안 방법

• 지수_utility 프레임워크를 사용하여 위험 감수성 낙관주의를 가치 갱신에 적용하는 배치 알고리즘인 위험 감수성 가치 반복(RSVI)을 제안한다.
• 위험 감수성 낙관주의 원리를 Q-값 학습에 확장한 온라인 알고리즘인 위험 감수성 Q-학습(RSQ)을 도입한다.
• 지수_utility 목표 $V = \frac{1}{\beta}\log\mathbb{E}[e^{\beta R}]$를 사용하며, 이는 $\beta \to 0$일 때 위험 중립성으로 수렴하고, 위험 감수성 행동으로의 스케일링을 가능하게 한다.
• 위험 감수성 낙관주의 메커니즘을 활용하여 탐색 보너스가 $\beta$의 부호와 크기에 따라 영향을 받으며, 이는 위험을 추구하는 ($\beta > 0$) 또는 회피하는 ($\beta < 0$) 선호도에 적응한다.
• 지수_utility 함수에 의해 유도되는 비선형 벨먼 방정식을 고려한 새로운 분석을 통해 누적 손실 경계를 유도한다.
• 모든 알고리즘이 $\tilde{O}(\sqrt{T})$ 누적 손실을 가진다면 $|\beta|$와 $H$에 대해 지수적 비용이 필수적임을 증명하는 하한선을 확립한다.

실험 결과

연구 질문

• RQ1 알 수 없는 MDP에서 지수_utility를 사용한 위험 감수성 강화학습을 위한 증명 가능하게 효율적인 모델에 의존하지 않는 알고리즘을 설계할 수 있는가?
• RQ2 위험 감수성은 강화학습 알고리즘의 샘플 효율성에 어떤 영향을 미치는가?
• RQ3 에피소드 MDP에서 위험 감수성과 누적 손실 사이의 기본적인 트레이드오프는 무엇인가?
• RQ4 누적 손실 경계에서 $|\beta|$와 $H$에 대한 지수적 의존성이 피할 수 없는가?
• RQ5 위험 감수성 낙관주의는 위험을 추구하는가, 위험을 회피하는가에 관계없이 효과적으로 구현될 수 있는가?

주요 결과

• RSVI는 $\tilde{O}\big{(}\lambda(|\beta|H^{2})\cdot\sqrt{H^{3}S^{2}AT}\big{)}$의 누적 손실을 달성하며, 여기서 $\lambda(u) = (e^{3u} - 1)/u$이다.
• RSQ는 $\tilde{O}\big{(}\lambda(|\beta|H^{2})\cdot\sqrt{H^{4}SAT}\big{)}$의 누적 손실을 달성하여 온라인 학습에서의 효율성을 보여준다.
• 누적 손실 경계는 $|\beta|$와 $H$에 대해 지수적 의존성을 가지며, 이는 일치하는 하한선을 통해 피할 수 없음을 입증한다.
• 하한선은 모든 알고리즘이 $\tilde{O}(\sqrt{T})$ 누적 손실을 가진다면 $|\beta|$와 $H$에 대해 지수적 비용을 피할 수 없음을 증명하며, 제안된 알고리즘의 근사 최적성에 대한 증명을 제공한다.
• 결과는 위험 감수성(알레아토릭 불확실성)과 샘플 효율성(에피스티크 불확실성) 사이의 기본적인 트레이드오프를 정량화한다.
• 이 작업은 지수_utility를 사용한 위험 감수성 강화학습에 대한 첫 번째 누적 손실 분석을 제공하며, 이론적 강화학습 분야의 중요한 격차를 메운다.