[論文レビュー] Risk-Averse Offline Reinforcement Learning

Núria Armengol Urpí, Sebastian Curi+1 more|arXiv (Cornell University)|Feb 10, 2021

Reinforcement Learning in Robotics参考文献 50被引用数 15

ひとこと要約

この論文では、事前に収集されたデータのみを用いて、リスク回避的方策を最適化する最初のモデルフリーのオフライン強化学習アルゴリズム、O-RAACを紹介する。分布的クライアント、CVaRやその他の一貫性のあるリスク測度を用いたリスク回避的エージェント、およびブートストラapping誤差を低減するVAEベースの模倣学習部を組み合わせることで、O-RAACはMuJoCo制御タスクにおいて、分布シフト下でもリスク回避的性能と分布的ロバストネスを優れた水準で達成し、リスクニュートラルなベースラインを上回る。

ABSTRACT

Training Reinforcement Learning (RL) agents in high-stakes applications might be too prohibitive due to the risk associated to exploration. Thus, the agent can only use data previously collected by safe policies. While previous work considers optimizing the average performance using offline data, we focus on optimizing a risk-averse criteria, namely the CVaR. In particular, we present the Offline Risk-Averse Actor-Critic (O-RAAC), a model-free RL algorithm that is able to learn risk-averse policies in a fully offline setting. We show that O-RAAC learns policies with higher CVaR than risk-neutral approaches in different robot control tasks. Furthermore, considering risk-averse criteria guarantees distributional robustness of the average performance with respect to particular distribution shifts. We demonstrate empirically that in the presence of natural distribution-shifts, O-RAAC learns policies with good average performance.

研究の動機と目的

• 探索が高コストな高リスク分野において、リスク回避的オフライン強化学習アルゴリズムが不足している問題に対処すること。
• CVaRなどのリスク回避的性能基準を最適化する完全にオフラインのアルゴリズムを開発し、分布シフトに対してロバストであることを保証すること。
• 行動方策のモデリングに変分自己オートエンコーダ（VAE）を統合することで、オフライン強化学習におけるブートストラップ誤差を低減すること。
• リスク回避的目的が最悪ケース性能を向上させるだけでなく、自然な分布シフト下でも強力な平均性能を維持できることを示すこと。
• CVaRや累積プロスペクト理論を含む、複数のリスク測度と互換性がある一般化可能なフレームワークを提供すること。

提案手法

• アルゴリズムは、ガウス分布を仮定しない分布的クライアントとして、暗黙的分位数ネットワークに基づくもので、帰属分布全体をモデル化する。
• リスク回避的エージェントは、微分可能なリスク基準を用いて、帰属分布の歪みを最適化し、例えば条件付きリスク価値（CVaR）を処理する。
• 変分自己オートエンコーダ（VAE）を訓練して行動方策をモデリングし、模倣学習を可能にし、方策更新における分布シフトを低減する。
• エージェントはVAEが生成する方策の摂動としてパrameter化され、学習済み方策が行動方策に近づき、過剰適合を低減する。
• クライアントは帰属分布全体に対する分布的ベルマン更新で訓練され、エージェントはリスク回避的ポリシー勾配の目的関数で更新される。
• 本手法は完全にオフラインであり、オンライン環境との相互作用を一切行わず、固定データセットに依存する。

実験結果

リサーチクエスチョン

• RQ1 完全にオフラインの強化学習アルゴリズムは、高リスク分野の制御タスクにおいて、CVaRのようなリスク回避的性能指標を効果的に最適化できるか？
• RQ2 オフライン強化学習におけるリスク回避的基準の使用は、データの自然な分布シフトに対してロバストネスを向上させるか？
• RQ3 VAEベースの模倣学習部の統合は、オフラインリスク回避的強化学習におけるブートストラップ誤差をどのように低減するか？
• RQ4 リスク回避的方策は、オフライン環境においてリスクニュートラルなベースラインと比較して、競争力のある平均性能を維持できるか？
• RQ5 提案手法は、CVaR、0.25-CVaR、CPWなどの異なるリスク測度に一般化可能か？

主な発見

• 中程度のデータを用いたハーフチーター環境では、O-RAACは0.1-CVaRで214 ± 36を達成し、O-D4PG（66 ± 34）やBEAR（15 ± 30）を顕著に上回った。
• エキスパートデータを用いたウォーカー-2D環境では、O-RAACは0.1-CVaRで751 ± 154を達成し、O-D4PG（31 ± 29）やBEAR（517 ± 66）を上回った。
• エキスパートデータを用いたホッパー環境では、O-RAACは0.1-CVaRで1416 ± 28を達成し、O-D4PG（1008 ± 28）やBEAR（1252 ± 47）を大きく上回った。
• O-RAACは競争力ある平均リターンを維持し、ホッパー（エキスパート）で1482 ± 4、ウォーカー-2D（中程度）で1282 ± 20を達成し、O-D4PG や BEAR などのリスクニュートラルなベースラインと同等の水準であった。
• 分布シフトが生じる環境（例：Hopper-E）では、O-RAACは安全な領域に方策を集中させ、データが少ない高リスク領域を避けるのに対し、O-D4PGはリスク領域に過剰に進出し、過剰なリスクを取った。
• VAE部は、特に多様性が低いエキスパートデータセットにおいてブートストラップ誤差を低減し、リスク回避的最適化がより高いロバストネスを提供することに寄与した。