[論文レビュー] A Convex Programming Approach to Data-Driven Risk-Averse Reinforcement Learning

Yuzhen Han, Majid Mazouchi+2 more|arXiv (Cornell University)|Mar 26, 2021

Adaptive Dynamic Programming Control参考文献 49被引用数 4

ひとこと要約

本稿では、事前に収集されたデータを用いてオンライン探索を回避する、離散時間非線形システムにおけるリスク回避的最適制御のための凸プログラミングに基づく強化学習フレームワークを提案する。3つのアルゴリズム—静的凸計画、価値反復、方策反復—を導入し、理論的誤差バウンドを伴う収束を保証する。シミュレーションにおいて、リスク中立的手法と比較して優れた安定性と分散低減を示す。

ABSTRACT

This paper presents a model-free reinforcement learning (RL) algorithm to solve the risk-averse optimal control (RAOC) problem for discrete-time nonlinear systems. While successful RL algorithms have been presented to learn optimal control solutions under epistemic uncertainties (i.e., lack of knowledge of system dynamics), they do so by optimizing the expected utility of outcomes, which ignores the variance of cost under aleatory uncertainties (i.e., randomness). Performance-critical systems, however, must not only optimize the expected performance, but also reduce its variance to avoid performance fluctuation during RL's course of operation. To solve the RAOC problem, this paper presents the following three variants of RL algorithms and analyze their advantages and preferences for different situations/systems: 1) a one-shot static convex program -based RL, 2) an iterative value iteration (VI) algorithm that solves a linear programming (LP) optimization at each iteration, and 3) an iterative policy iteration (PI) algorithm that solves a convex optimization at each iteration and guarantees the stability of the consecutive control policies. Convergence of the exact optimization problems, which are infinite-dimensional in all three cases, to the optimal risk-averse value function is shown. To turn these optimization problems into standard optimization problems with finite decision variables and constraints, function approximation for value estimations as well as constraint sampling are leveraged. Data-driven implementations of these algorithms are provided based on Q-function which enables learning the optimal value without any knowledge of the system dynamics. The performance of the approximated solutions is also verified through a weighted sup-norm bound and the Lyapunov bound. A simulation example is provided to verify the effectiveness of the presented approach.

研究の動機と目的

• 性能上の重要なシステムにおける推測的不確実性に起因する分散を無視する標準的なRLの限界を是正すること。
• システムダイナミクスモデルを必要としない、モデルフリーでデータ駆動型のRLアルゴリズムを構築し、期待コストとその分散の両方を最適化すること。
• 凸最適化技術を用いて、リスク回避的制御設定における学習方策の安定性と収束を保証すること。
• 実装における関数近似と制約サンプリングの理論的誤差バウンドを提供すること。
• オンライン相互作用なしに事前に収集されたデータセットから学習可能であり、自律システムにおける実世界の展開を支援すること。

提案手法

• エントロピー的リスク測度を用いてリスク回避的最適制御問題を定式化し、期待コストとその分散を同時に最小化する。
• 事前データからサンプリングされた制約を用いて、無限次元最適化問題を近似するワンショット静的凸計画を構築する。
• 各ステップで線形計画問題を解く反復的価値反復アルゴリズムを提案し、リスク回避的価値関数への収束を保証する。
• 各反復で凸最適化問題を解く方策反復アルゴリズムを導入し、連続する制御方策の安定性を保証する。
• 関数近似としてフーリエ基底関数を用いて、価値関数推定の次元を低減する。
• 制約サンプリングを用いて、無限次元凸計画問題を有限次元の標準凸最適化問題に変換する。

実験結果

リサーチクエスチョン

• RQ1 システムダイナミクスの知識を必要とせず、モデルフリーでデータ駆動型のRLアルゴリズムを設計し、リスク回避的最適制御問題を解くことができるか？
• RQ2 凸プログラミングをどのように活用することで、非線形システムにおけるリスク回避的RLの収束性と安定性を保証できるか？
• RQ3 関数近似と制約サンプリングの影響は、学習されたリスク回避的方策の精度にどのように現れるか？
• RQ4 性能の分散と耐障害性の観点から、リスク中立的RLと比較して、提案手法はどのように差をつけるか？
• RQ5 オンライン探索なしに、オフラインデータセットを効果的に活用して、安定的かつ低分散の制御方策を学習可能か？

主な発見

• 提案されたワンショット凸計画ベースのRLは、十分な数のサンプリング制約が得られれば、最適リスク回避的価値関数への収束を達成する。N = 1e7サンプルで最適解に近づく性能が示された。
• シミュレーション結果から、リスク回避的ケース（α = 5）はリスク中立的ケースと比較して顕著に低い性能分散を示しており、図3の tighter 状態軌道で裏付けられている。
• N ≥ 9e⁴ 個のサンプリング制約が得られると、近似誤差が最小化され、解推定の分散が顕著に低減される。制約サンプリングの有効性が確認された。
• 価値反復および方策反復アルゴリズムは最適解への収束を示し、方策反復バージョンは学習済み制御方策の安定性を保証する。
• 関数近似および制約サンプリングの両方について理論的誤差バウンドが確立され、近似品質の厳密な根拠が得られた。
• 非凸最適化を回避し、ハイパーパramータチューニングへの感受性を低減する点で、従来のポリシー勾配ベースの代替手法を上回る性能を示した。