[論文レビュー] Policy Optimization via Importance Sampling

Alberto Maria Metelli, Matteo Papini+2 more|arXiv (Cornell University)|Sep 17, 2018

Reinforcement Learning in Robotics被引用数 23

ひとこと要約

この論文では、高信頼性バウンドを用いた重要度サンプリングを活用することで、効率的なオフライン方策改善を可能にする、新しいモデルフリー方策最適化アルゴリズムPOISを提案する。重要度重み付き軌道から導出されたサロゲート目的関数を最適化することにより、線形および深層ニューラルネットワーク方策を用いた連続的制御タスクにおいて、TRPO や PPO と同様の主要ベンチマークで最先端の性能を達成し、同時にサンプル効率性と安定性を維持する。

ABSTRACT

Policy optimization is an effective reinforcement learning approach to solve continuous control tasks. Recent achievements have shown that alternating online and offline optimization is a successful choice for efficient trajectory reuse. However, deciding when to stop optimizing and collect new trajectories is non-trivial, as it requires to account for the variance of the objective function estimate. In this paper, we propose a novel, model-free, policy search algorithm, POIS, applicable in both action-based and parameter-based settings. We first derive a high-confidence bound for importance sampling estimation; then we define a surrogate objective function, which is optimized offline whenever a new batch of trajectories is collected. Finally, the algorithm is tested on a selection of continuous control tasks, with both linear and deep policies, and compared with state-of-the-art policy optimization methods.

研究の動機と目的

• オフライン軌道を過度な分散や不安定性を伴わずに効率的に再利用する課題に対処すること。
• 重要度サンプリングを用いて、行動方策とターゲット方策の距離を制御することで、探索と活用のバランスを取ること。
• 重要度サンプリング推定値に高信頼性バウンドを導入することで、オフライン方策学習におけるサンプル効率性と収束安定性を向上させること。
• アクションベースおよびパrameterベースの両方の方策探索フレームワークにおいて、効果的なオフライン最適化を可能にすること。
• 原理的で分散制御されたアプローチを用いて、TRPO や PPO といった既存の最先端手法を連続的制御ベンチマークで上回ること。

提案手法

• 重要度サンプリング推定値に高信頼性バウンドを導入することで、方策最適化中の分散を制御する。
• 信頼性バウンドから導出されたリーマンダイバージェンスに基づくペナルティ項を組み込んだサロゲート目的関数を定義する。
• POIS は、新しい軌道の収集と、バッチデータを用いた複数回のオフライン最適化ステップの繰り返しを実行する。
• アルゴリズムはアクションベース（A-POIS）およびパrameterベース（P-POIS）の両設定をサポートし、後者は自然勾配最適化を用いる。
• 勾配推定には、標準的IS（A-POIS）または自己正規化IS（P-POIS）を用いる。
• 有意水準 δ が信頼性バウンドを制御し、オフポリシーデータに基づく方策の更新の激しさに影響を与える。

実験結果

リサーチクエスチョン

• RQ1 重要度サンプリングに高信頼性バウンドを導入することで、オフライン方策最適化の安定性とサンプル効率性が向上するか？
• RQ2 行動方策とターゲット方策の間のリーマンダイバージェンスを制御することで、オフポリシー設定における学習性能にどのような影響を与えるか？
• RQ3 A-POIS と P-POIS は、線形および深層ニューラルネットワーク方策を用いた連続的制御タスクにおいて、TRPO や PPO と同等かそれ以上の性能を示せるか？
• RQ4 信頼水準 δ がオフライン方策最適化における方策分散と学習ダイナミクスに与える影響は何か？
• RQ5 分散制御を組み込んだサロゲート目的関数の使用は、収束速度の向上とより優れた最終的性能をもたらすか？

主な発見

• Cart-Pole Balancing タスクにおいて、A-POIS は 4842.8 ± 13.0 の累積報酬を達成し、TRPO や REINFORCE といった最良のパフォーマンスを示す手法と統計的に差がなかった。
• マウンテンカーモデルでは、A-POIS は -63.7 ± 0.5 の報酬を達成し、DDPG や TRPO よりも報酬の安定性と収束速度において優れていた。
• スイマー タスクにおいて、P-POIS は 88.7 ± 0.55 の競争力のあるパフォーマンスを示したが、A-POIS や TRPO よりわずかに低い結果であり、IS推定器の選択の重要性を示唆した。
• δ の値は方策分散と収束に顕著な影響を与えた：小さい δ 値は、リーマンダイバージェンスの高い値に対する強いペナルティをもたらし、分散の減少が遅くなった。
• 高信頼性バウンドは、重要度サンプリングの分散が高くなっても最適化が発散することを効果的に防ぎ、特に δ = 1 の場合、実現不可能なバウンドとなり推定の不確実性を示した。
• POIS は5回の実験において一貫したパフォーマンスを示し、95%信頼区間を確認したことで、多様な連続的制御環境における頑健性と再現可能性が裏付けられた。