[論文レビュー] Reinforcement learning with non-ergodic reward increments: robustness via ergodicity transformations

Dominik Baumann, Erfaun Noorani+4 more|arXiv (Cornell University)|Oct 17, 2023

Auction Theory and ApplicationsDecision Sciences被引用数 3

ひとこと要約

本稿では、強化学習における非エルゴード性に起因する非ロバストな方策の問題を解決するため、エルゴード性変換を提案する。期待報酬の最適化が非エルゴード的環境で非ロバストな方策を生じさせることに対処し、報酬増分をエルゴードにする状態依存変換を学習することで、時間平均最適化によるロバストな方策学習を可能にする。Reacherのような困難なベンチマークでも、標準的なRLを上回る性能を示す。

ABSTRACT

Envisioned application areas for reinforcement learning (RL) include autonomous driving, precision agriculture, and finance, which all require RL agents to make decisions in the real world. A significant challenge hindering the adoption of RL methods in these domains is the non-robustness of conventional algorithms. In particular, the focus of RL is typically on the expected value of the return. The expected value is the average over the statistical ensemble of infinitely many trajectories, which can be uninformative about the performance of the average individual. For instance, when we have a heavy-tailed return distribution, the ensemble average can be dominated by rare extreme events. Consequently, optimizing the expected value can lead to policies that yield exceptionally high returns with a probability that approaches zero but almost surely result in catastrophic outcomes in single long trajectories. In this paper, we develop an algorithm that lets RL agents optimize the long-term performance of individual trajectories. The algorithm enables the agents to learn robust policies, which we show in an instructive example with a heavy-tailed return distribution and standard RL benchmarks. The key element of the algorithm is a transformation that we learn from data. This transformation turns the time series of collected returns into one for whose increments expected value and the average over a long trajectory coincide. Optimizing these increments results in robust policies.

研究の動機と目的

• 非エルゴード的環境における期待報酬の最適化が原因で生じる従来のRLアルゴリズムの非ロバスト性を是正すること。
• 実世界の応用において、アンサンブル平均の期待報酬よりも、1本の長時間軌道に沿った時間平均性能がより適切な目的関数であることを示すこと。
• 非エルゴード的報酬をエルゴード的増分に変換するデータ駆動型のエルゴード性変換を学習する手法を開発すること。
• 変換された報酬を最適化することで、RLアルゴリズム全体を再設計することなくロバストな方策学習が可能になることを示すこと。
• 心理的仮定ではなく統計力学の原則に基づいた、リスクセンシティブRL変換の理論的基盤を提供すること。

提案手法

• 収集された報酬軌道から、非エルゴード的増分をエルゴード的なものに変換する変換関数を学習する。
• ニューラルネットワークを用いて、元の報酬を変換値にマップするが、その結果得られる増分がエルゴード的であることを保証する。
• 変換された報酬を用いて、REINFORCEやPPOによる方策パラメータの更新を実行し、長期的な時間平均成長を最適化する。
• 環境のダイナミクスに関する事前知識が不要な状態で、軌道データを活用してエルゴード性を保つ変換を推定する。
• 収集済みの報酬に対して後から変換を適用するため、既存のオンポリシーおよびオフポリシーRLアルゴリズムと統合可能である。
• 標準的なRLベンチマーク（Cart-PoleおよびReacher）で手法を検証し、エピソード長および方策成功度に関するアブレーションを実施。

実験結果

リサーチクエスチョン

• RQ1 エルゴード性変換は、非エルゴード的環境における強化学習方策のロバスト性を向上させることができるか？
• RQ2 エルゴード性変換を用いて時間平均報酬を最適化することで、期待報酬を最適化するのと比較して、より優れた長期的性能が得られるか？
• RQ3 元の報酬が非エルゴード的であっても、データ駆動型の変換を学習し、報酬増分をエルゴードにすることができるか？
• RQ4 本手法は、標準的なRLおよびリスクセンシティブRLのベースラインと比較して、方策の安定性および成功確率において優れているか？
• RQ5 エルゴード性変換は、心理学的仮定ではなく統計力学に基づく原則的な代替手段として、報酬関数やリスク測度の代替として機能できるか？

主な発見

• Cart-Pole環境では、100ステップのエピソードで学習したエルゴード性変換付きREINFORCEエージェントが、テスト時（200ステップ）に標準REINFORCEよりもわずかに高い報酬を達成した。
• より困難なReacher環境では、唯一エルゴード性変換付きREINFORCEエージェントが成功した方策を学習したのに対し、標準REINFORCEエージェントは収束に失敗した。
• 本手法により、非エルゴード的報酬時系列がエルゴード的増分を持つものに正しく変換され、時間平均最適化によるロバストな方策学習が可能になった。
• 本手法は、元のRLアルゴリズムを変更せずに標準ベンチマークで性能向上を達成したため、既存のフレームワークと高い互換性を持つことが示された。
• 非エルゴード的報酬における期待値最適化が、非ロバストな方策を生じさせること、およびエルゴード性変換がこの問題を緩和できることを支持する証拠が得られた。
• 本手法は、実世界のRL応用においてアンサンブル平均目的関数の代わりに時間平均目的関数を採用するための理論的・実証的基盤を提供する。