[논문 리뷰] Regret Bounds for Markov Decision Processes with Recursive Optimized Certainty Equivalents

W. Xu, Xuefeng Gao외 1명|arXiv (Cornell University)|2023. 01. 30.

Explainable Artificial Intelligence (XAI)인용 수 5

한 줄 요약

이 논문은 엔트로픽 리스크와 CVaR를 포함한 리스크 측정의 통합 프레임워크인 재귀적 최적의 확실성 등가(OCE)를 사용하여 표본 마르코프 결정 과정(MDP)을 위한 리스크 민감한 강화 학습 알고리즘을 제안한다. 이 알고리즘은 OCE 전용 탐색 보너스를 갖춘 UCBVI를 확장하여 에피소드 수와 행동 수에 대해 비선형 의존성을 가지며 최적의 리그레트 경계를 달성하며, 기존 방법들에 비해 이론적·실증적 우수성을 입증한다.

ABSTRACT

The optimized certainty equivalent (OCE) is a family of risk measures that cover important examples such as entropic risk, conditional value-at-risk and mean-variance models. In this paper, we propose a new episodic risk-sensitive reinforcement learning formulation based on tabular Markov decision processes with recursive OCEs. We design an efficient learning algorithm for this problem based on value iteration and upper confidence bound. We derive an upper bound on the regret of the proposed algorithm, and also establish a minimax lower bound. Our bounds show that the regret rate achieved by our proposed algorithm has optimal dependence on the number of episodes and the number of actions.

연구 동기 및 목표

• 정적 리스크 측정의 한계, 예를 들어 시간 비일관성과 비마르코프 정책을 해결하기 위해.
• 전이 확률이 알려지지 않은 표본 MDP에 대해 재귀적 OCE 리스크 측정 기반의 모델 기반 학습 알고리즘을 개발하기 위해.
• 에피소드 수와 행동 수에 대해 최적의 의존성을 반영하는 날카운 리그레트 경계를 확립하기 위해.
• 기존의 리스크 민감한 강화 학습 설정, 즉 리스크 중립, 엔트로픽, CVaR 기반 접근법을 통합 및 일반화하기 위해.
• 랜덤으로 생성된 MDP에서 엔트로픽 및 평균-분산 리스크 기준에 따라 알고리즘의 성능을 실증적으로 검증하기 위해.

제안 방법

• 표준가치 반복에서 기대값을 OCE 연산자로 대체함으로써 재귀적 OCE를 사용하는 새로운 에피소드 리스크 민감한 강화 학습 문제를 수립한다.
• OCE의 특정 유틸리티 함수에 맞춰진 상한 신뢰도 보너스(Upper Confidence Bound, UCB)를 적용한 OCE-VI 알고리즘을 설계한다.
• 유틸리티 함수의 곡률에 따라 의존하는 새로운 탐색 보너스를 유도하여 리스크 민감한 목표 하에서 효과적인 탐색을 보장한다.
• 집중 불등식과 KL 발산 근사치를 사용하여 이론적 리그레트 경계를 확립하며, 특히 엔트로픽 및 평균-분산 케이스에 대해 분석한다.
• 시간에 따라 변하는 전이 확률을 갖는 비정상적인 MDP에 대해 UCBVI 프레임워크를 적응시켜 유한 수평의 에피소드 설정에 적용 가능하게 한다.
• 랜덤으로 생성된 MDP에서 RSVI2, RSQ2 및 UCBVI 변종과의 성능 비교를 위해 수치 실험을 수행한다.

실험 결과

연구 질문

• RQ1 재귀적 OCE 기반의 통합 리스크 민감한 강화 학습 프레임워크는 전이 확률이 알려지지 않은 에피소드 MDP에서 최적의 리그레트 속도를 달성할 수 있는가?
• RQ2 OCE의 유틸리티 함수의 선택이 탐색 보너스 설계와 학습 성능에 어떤 영향을 미치는가?
• RQ3 제안된 OCE-VI 알고리즘이 에피소드 수와 행동 수에 대해 최적의 의존성을 갖는 비선형 리그레트를 달성하는가?
• RQ4 실증적으로 기존의 리스크 민감한 및 리스크 중립 강화 학습 알고리즘과 비교했을 때 리그레트와 수렴 속도 측면에서 알고리즘의 성능은 어떠한가?
• RQ5 재귀적 OCE 공식화는 CVaR나 평균-분산과 같은 정적 리스크 측정에서 기인하는 시간 비일관성 문제를 해결할 수 있는가?

주요 결과

• 제안된 OCE-VI 알고리즘은 에피소드 수 K와 행동 수 A에 대해 최적의 의존성을 가지며, 최소 최대 하한선과 일치하는 리그레트 경계를 달성한다.
• 엔트로픽 리스크 측정의 경우, 랜덤으로 생성된 MDP에서 RSVI2와 RSQ2에 비해 실증 평가에서 성능이 뛰어나다.
• 평균-분산 기준의 경우, 리스크 중립 기반의 UCBVI-CH와 UCBVI-BF 기반 모델에 비해 OCE-VI 알고리즘이 뚜렷이 뛰어난 성능을 보이며, 이는 리스크 민감한 설정을 위해 설계되었음에도 불구하고 성능 향상을 이룬다.
• 이론적 분석을 통해 엔트로픽 및 평균-분산 케이스의 리그레트 경계가 O(√(H^3 S A K log K))로 스케일링되며, 상수는 유틸리티 함수의 곡률에 따라 달라진다.
• 수치 결과는 K에 대해 비선형 리그레트 성장이 확인되었으며, 소형 및 대형 MDP 모두에서 기반 모델들보다 더 빠르게 수렴하고 더 낮은 리그레트를 달성한다.
• OCE 전용 보너스 항은 성능에 결정적인 영향을 미치며, 유틸리티 함수에 의해 표현된 리스크 프로파일에 맞춰 탐색을 적응시킨다.