[論文レビュー] Learning Robust Options

Daniel J. Mankowitz, Timothy Mann+3 more|arXiv (Cornell University)|Feb 9, 2018

Reinforcement Learning in Robotics被引用数 15

ひとこと要約

本稿では、強化学習におけるモデル不確実性に対して頑健な一時抽象的オプションを学習するための新規アルゴリズムであるロバストオプション政策反復（ROPI）を提案する。ロバスト価値関数更新とポリシー勾配を統合することで、RO-DQN（ロバスト深層Qネットワーク）は多様な動的特性にわたって一般化可能であり、非頑健なベースラインと比較して、CartPoleおよびAcrobotタスクにおけるパrameter変動下でも優れた性能を示す。

ABSTRACT

Robust reinforcement learning aims to produce policies that have strong guarantees even in the face of environments/transition models whose parameters have strong uncertainty. Existing work uses value-based methods and the usual primitive action setting. In this paper, we propose robust methods for learning temporally abstract actions, in the framework of options. We present a Robust Options Policy Iteration (ROPI) algorithm with convergence guarantees, which learns options that are robust to model uncertainty. We utilize ROPI to learn robust options with the Robust Options Deep Q Network (RO-DQN) that solves multiple tasks and mitigates model misspecification due to model uncertainty. We present experimental results which suggest that policy iteration with linear features may have an inherent form of robustness when using coarse feature representations. In addition, we present experimental results which demonstrate that robustness helps policy iteration implemented on top of deep neural networks to generalize over a much broader range of dynamics than non-robust policy iteration.

研究の動機と目的

• 動的システムにおけるモデル不確実性に直面した際の、既存のオプション学習手法における頑健性の欠如に対処すること。
• 遷移モデルの変動（例えば、ロボットシステムにおける異なる物理的パrameter）に耐性を持つオプションを学習するポリシー反復フレームワークの開発。
• ロバストなオプションが、特徴ベースのモデル不適合とモデル不確実性の両方を緩和できることを示すこと。
• 提案されたロバストオプション政策反復（ROPI）アルゴリズムの理論的収束保証を提供すること。
• タスク固有の再トレーニングを必要とせずに、多様な動的特性にわたるマルチタスク強化学習における一般化を可能にすること。

提案手法

• ロバスト価値関数評価（RPVI）とロバストポリシー勾配を用いたロバストポリシー改善を組み合わせた二段階アルゴリズムとして、ロバストオプション政策反復（ROPI）を提案する。
• モデル不確実性に耐性を持つように、可能な遷移モデルのあいまいさ集合上での最悪ケースリターンを最小化するロバスト時系列差分（TD）更新を統合する。
• モデル摂動下でも価値関数近似が一貫性を保つことを保証するためのロバスト適合条件を用いる。
• 複数のタスクに共通する表現を学習するために、オプションヘッドに対するオンラインで交互に最適化を行うRO-DQN（RO-DQN）フレームワーク内にROPIを実装する。
• モデルのあいまいさ下でのQ値更新に、ロバストTD誤差 $\delta = Q(x,a) - r + \gamma \inf_{p \in \mathcal{P}(x,a)} \sum_{x'} p(x'|x,a) \max_{a'} Q(x',a')$ を適用する。
• 最大3000エピソードまでADAM最適化手法を用いてRO-DQNをエンドツーエンドで訓練し、棒の長さや質量などの変動する物理的パrameterにおける性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 モデル不確実性を伴う動的システムにおいて、ポリシー反復フレームワークを、モデル不確実性に頑健なオプションの学習に拡張できるか？
• RQ2 線形特徴表現の粗さが、オプション学習におけるモデル不適合に対して本質的に頑健性をもたらすか？
• RQ3 ROPIを用いて学習されたロバストなオプションは、変動する環境動的特性において、深層ニューラルネットワークベースの強化学習エージェントの一般化を向上させられるか？
• RQ4 ロバストなオプションは、マルチタスク強化学習において、特徴ベースのモデル不適合とモデル不確実性の両方をどの程度緩和できるか？
• RQ5 RO-DQNは、CartPoleおよびAcrobotタスクにおけるパrameter変動を処理する際、標準DQNおよびO-DQNと比較してどのように異なるか？

主な発見

• 非頑健なASAPアルゴリズムは、粗い特徴表現のおかげで線形設定下で本質的に頑健性を示す。これは、モデル変動に対する感受性が制限されるためである。
• 深層ニューラルネットワーク設定下では、標準DQNおよびO-DQNは、CartPoleおよびAcrobotにおけるパrameter変動に起因する性能の振動とモデル不確実性下での劣化を示し、一般化に失敗する。
• RO-DQNは、0.5–5.0 mの棒の長さおよび1.0–5.5 kgの質量の広い範囲にわたって、高い性能を維持するロバストなオプションを効果的に学習する。非頑健なベースラインを上回る性能を示す。
• ROPIは、不確実性集合内での最悪ケース遷移ダイナミクスを最適化することで、モデルのあいまいさ下でも理論的収束保証を達成する。
• ロバストTD更新の統合により、一般化性能が顕著に向上し、1つの共有ネットワークが動的パrameterの変化に伴う複数のタスクを処理可能になる。
• 実験結果から、ロバストなオプションは、不完全または不確実な動的モデルを伴う状況において、シミュレーションから実世界への政策移行におけるギャップを埋めることが示された。