[논문 리뷰] Exponential Bellman Equation and Improved Regret Bounds for Risk-Sensitive Reinforcement Learning

Yingjie Fei, Zhuoran Yang외 2명|arXiv (Cornell University)|2021. 11. 06.

Decision-Making and Behavioral Economics인용 수 9

한 줄 요약

이 논문은 엔트로픽 리스크 측도 하에서 기존 상한 및 하한의 리그레트 한계 사이의 지수적 간극을 해결하기 위해 새로운 지수 벨먼 방정식과 이중으로 감쇠하는 보너스 메커니즘을 제안한다. 벨먼 백업 분석을 정교화하고 탐색을 향상시킴으로써 저자들은 이전 연구에서 존재했던 $e^{|\beta|H^2}$ 인자 없이 거의 최적의 리그레트 한계를 달성한다. 이는 기존 하한과의 격차를 크게 좁히는 데 기여한다.

ABSTRACT

We study risk-sensitive reinforcement learning (RL) based on the entropic risk measure. Although existing works have established non-asymptotic regret guarantees for this problem, they leave open an exponential gap between the upper and lower bounds. We identify the deficiencies in existing algorithms and their analysis that result in such a gap. To remedy these deficiencies, we investigate a simple transformation of the risk-sensitive Bellman equations, which we call the exponential Bellman equation. The exponential Bellman equation inspires us to develop a novel analysis of Bellman backup procedures in risk-sensitive RL algorithms, and further motivates the design of a novel exploration mechanism. We show that these analytic and algorithmic innovations together lead to improved regret upper bounds over existing ones.

연구 동기 및 목표

• 기존 리스크 민감한 강화학습 알고리즘이 상한 및 하한 리그레트 한계 사이의 지수적 간극을 초래하는 결함을 규명하는 것.
• 이전 방법에서 리그레트 상한에 $e^{|eta|H^2}$ 인자를 유발하는 비최적의 분석과 과도하게 큰 탐색 보너스를 해결하는 것.
• 리스크 민감한 강화학습을 위한 새로운 분석 프레임워크를 지수 벨먼 방정식 기반으로 개발하는 것.
• 각 단계의 추정 오차에 적응하는 이중 감쇠 보너스 메커니즘을 설계하는 것.
• 이를 통해 $e^{|eta|H^2}$ 인자를 제거하고 거의 최적의 리그레트 한계를 달성함으로써 기존 하한과의 격차를 해소하는 것.

제안 방법

• 표준 강화학습에서의 덧셈적 업데이트와 대비하여 보상과 다음 단계의 가치 함수 간의 곱셈적 상호작용을 사용하는 지수 벨먼 방정식을 도입하여 리스크 민감한 벨먼 업데이트를 재구성한다.
• 지수 벨먼 방정식 기반의 새로운 벨먼 백업 절차 분석을 개발하여 그 구조적 특성을 활용해 더 날카운 오차 한계를 유도한다.
• 에피소드 간 및 각 에피소드 내에서 감쇠하는 이중 감쇠 보너스 메커니즘을 제안하여 과대평가를 줄이고 리그레트 스케일링을 향상시키는 적응형 탐색을 가능하게 한다.
• 지수 벨먼 방정식과 이중 감쇠 보너스를 통합한 두 가지 모델리스 알고리즘—RSVI-ED 및 RSQ-ED—를 설계하여 리스크 민감한 강화학습에 활용한다.
• 추정 오차를 제어하기 위해 농도 불평형 불등식과 자기정규화된 마팅게일 한계를 사용하여 고확률 리그레트 한계를 보장한다.
• 로그 함수의 1-Lipschitz 또는 $e^{-\beta H}$-Lipschitz 성질을 활용하여 원래 가치 함수의 리그레트를 지수 가치 함수와 연결함으로써 더 날카운 리그레트 분해를 가능하게 한다.

실험 결과

연구 질문

• RQ1 기존 리스크 민감한 강화학습에서 리그레트 상한에 $e^{\beta|H^2}$ 인자가 존재하는 이유는 무엇인가?
• RQ2 개선된 알고리즘 설계 및 분석을 통해 상한 및 하한 리그레트 한계 사이의 지수적 간극을 메울 수 있는가?
• RQ3 리스크 민감한 벨먼 방정식의 구조를 어떻게 활용하여 가치 함수 추정 오차에 대한 더 날카운 한계를 도출할 수 있는가?
• RQ4 어떤 새로운 탐색 메커니즘이 과대평가를 효과적으로 줄이면서도 충분한 탐색을 유지할 수 있는가?
• RQ5 제안된 방법이 거의 최적의 리그레트 한계를 달성하고 이전 상한에 존재하는 $e^{\beta|H^2}$ 인자를 제거할 수 있는가?

주요 결과

• 논문은 기존 알고리즘이 리스크 민감한 벨먼 방정식의 곱셈적 구조를 제대로 활용하지 못하는 비최적의 분석과 과도하게 큰 보너스로 인해 문제가 있음을 규명한다.
• 제안된 지수 벨먼 방정식은 보상과 다음 단계 가치 함수 간의 곱셈적 상호작용을 사용하여 추정 오차 분석을 더 정밀하게 만든다.
• 이중 감쇠 보너스 메커니즘은 에피소드 간 및 각 에피소드 내에서 시간이 지남에 따라 탐색을 감소시켜 더 날카운 리그레트 제어를 이룬다.
• 리그레트 상한은 $e^{\beta|H^2}$ 인자를 제거함으로써 향상되어 기존 하한과 로그 및 다항 인자 수준에서 거의 최적의 한계를 달성한다.
• $\beta > 0$일 경우 리그레트는 $\frac{1}{\beta} \sum_{k \in [K]} \left[ e^{\beta V_1^k(s_1^k)} - e^{\beta V_1^{\pi^k}(s_1^k)} \right]$로 유계이며, $\beta < 0$일 경우 $\frac{e^{-\beta H}}{|\beta|} \sum_{k \in [K]} \left[ e^{\beta V_1^{\pi^k}(s_1^k)} - e^{\beta V_1^k(s_1^k)} \right]$로 유계이며, 이는 이전 결과보다 더 날카운 것이다.
• 분석을 통해 $\gamma_{h,t} \leq 4c|e^{\beta(H-h+1)} - 1|\sqrt{\frac{H\iota}{t}}$라는 지수 가치 함수의 추정 오차에 대한 정교한 한계를 도출하였다.