[論文レビュー] Regret Bounds for Markov Decision Processes with Recursive Optimized Certainty Equivalents

W. Xu, Xuefeng Gao+1 more|arXiv (Cornell University)|Jan 30, 2023

Explainable Artificial Intelligence (XAI)被引用数 5

ひとこと要約

本稿では、エントロピー的リスクとCVaRを含むリスク測度を統合するフレームワークである再帰的最適化確実性等価（OCE）を用いて、表形式のマークフ・意思決定過程（MDP）におけるリスクセンシティブ強化学習アルゴリズムを提案する。このアルゴリズムはUCBVIをOCE固有の探索ボーナスで拡張し、エピソード数と行動数に非線形に依存する最適なレグレットバウンドを達成し、従来の手法に比べ理論的および実験的優位性を示している。

ABSTRACT

The optimized certainty equivalent (OCE) is a family of risk measures that cover important examples such as entropic risk, conditional value-at-risk and mean-variance models. In this paper, we propose a new episodic risk-sensitive reinforcement learning formulation based on tabular Markov decision processes with recursive OCEs. We design an efficient learning algorithm for this problem based on value iteration and upper confidence bound. We derive an upper bound on the regret of the proposed algorithm, and also establish a minimax lower bound. Our bounds show that the regret rate achieved by our proposed algorithm has optimal dependence on the number of episodes and the number of actions.

研究の動機と目的

• 静的リスク測度がリスクセンシティブRLに及ぼす時間不一致や非マルコフ的方策の問題を解消すること。
• 未知の遷移確率を有する表形式MDPにおける、再帰的OCEリスク測度に基づくモデルベース学習アルゴリズムの開発。
• エピソード数と行動数に最適な依存関係を反映するタイトなレグレットバウンドの確立。
• 既存のリスクセンシティブRL定式化（リスクニュートラル、エントロピー的、CVaRベース）を統合・一般化すること。
• ランダムに生成されたMDPにおけるエントロピー的および平均・分散リスク基準に基づく、アルゴリズムの実験的妥当性の検証。

提案手法

• 標準的な価値反復における期待値をOCE作用素に置き換えることで、再帰的OCEを用いた新たなエピソード的リスクセンシティブRL問題を定式化。
• OCEの特定の効用関数に適合した上位信頼度（UCB）ボーナスを備えたOCE-VIアルゴリズムを設計。
• 効用関数の曲率に依存する新しい探索ボーナスを導出。これにより、リスクセンシティブな目的関数下での効果的な探索が可能になる。
• 集中不等式とKLダイバージェンスの近似を用いて理論的レグレットバウンドを確立。特にエントロピー的および平均・分散ケースに注目。
• 非定常MDP（時間依存の遷移確率を有する）に適応したUCBVIフレームワークを拡張し、有限ホライズンのエピソード的設定への適用を可能に。
• ランダムに生成されたMDPを用いた数値実験により、RSVI2、RSQ2、UCBVIの変種など、ベンチマークと性能を比較。

実験結果

リサーチクエスチョン

• RQ1 再帰的OCEに基づく統一的リスクセンシティブRLフレームワークは、未知の遷移確率を有するエピソード的MDPで最適なレグレットレートを達成できるか？
• RQ2 OCEにおける効用関数の選択が、探索ボーナスの設計と学習性能に与える影響は何か？
• RQ3 提案されたOCE-VIアルゴリズムは、エピソード数と行動数に最適な依存関係を有する非線形レグレットを達成するか？
• RQ4 既存のリスクセンシティブおよびリスクニュートラルなRLアルゴリズムと比較して、実験的にレグレットと収束速度の面で性能に優れているか？
• RQ5 再帰的OCE定式化は、CVaRや平均・分散といった静的リスク測度に内在する時間不一致問題を克服できるか？

主な発見

• 提案されたOCE-VIアルゴリズムは、エピソード数Kと行動数Aに最適な依存関係を有するレグレットバウンドを達成し、ミニマックス下界と一致する。
• エントロピー的リスク測度において、ランダムに生成されたMDP上での実験的評価で、RSVI2およびRSQ2を上回る性能を示した。
• 平均・分散基準において、リスクニュートラルなUCBVI-CHおよびUCBVI-BFベースラインと比較して、OCE-VIアルゴリズムは顕著に優れた性能を発揮した。
• 理論的分析により、エントロピー的および平均・分散ケースにおいて、レグレットバウンドがO(√(H^3 S A K log K))にスケーリングすることが示された。定数は効用関数の曲率に依存する。
• 数値結果により、Kに伴うレグレットの非線形増加が確認され、小規模および大規模MDPの両方で、ベースラインよりも速く収束し、より低いレグレットを達成した。
• OCE固有のボーナス項は、効用関数がエンコードするリスクプロファイルに適合した探索を可能にするため、性能に不可欠である。