[論文レビュー] Single Episode Policy Transfer in Reinforcement Learning

Jiachen Yang, Brenden K. Petersen+2 more|arXiv (Cornell University)|Oct 17, 2019

Reinforcement Learning in Robotics参考文献 41被引用数 21

ひとこと要約

本稿では、テスト時に報酬にアクセスできない状況下で、1つのテストエピソードのみを用いて近似的最適制御を達成するためのSingle Episode Policy Transfer (SEPT) を提案する。プローブ方策と推論モデルを用いて初期段階で潜在的ダイナミクスを迅速に推定し、即座に汎用方策を適用可能にする。高次元で不連続的かつ連続的なダイナミクスを有する環境において、ベースラインと比較して優れた性能と高速性を達成する。

ABSTRACT

Transfer and adaptation to new unknown environmental dynamics is a key challenge for reinforcement learning (RL). An even greater challenge is performing near-optimally in a single attempt at test time, possibly without access to dense rewards, which is not addressed by current methods that require multiple experience rollouts for adaptation. To achieve single episode transfer in a family of environments with related dynamics, we propose a general algorithm that optimizes a probe and an inference model to rapidly estimate underlying latent variables of test dynamics, which are then immediately used as input to a universal control policy. This modular approach enables integration of state-of-the-art algorithms for variational inference or RL. Moreover, our approach does not require access to rewards at test time, allowing it to perform in settings where existing adaptive approaches cannot. In diverse experimental domains with a single episode test constraint, our method significantly outperforms existing adaptive approaches and shows favorable performance against baselines for robust transfer.

研究の動機と目的

• 未知で変動するダイナミクスの下で、1回のテストエピソードのみで近似的最適なパフォーマンスを達成する課題に対処すること。
• テスト時に報酬が入手不能または遅延する状況での転送を可能にすること。
• リアルタイムアプリケーションに一般的な厳密な時間的・計算的制約のもとで動作する手法を開発すること。
• 推定された潜在変数に条件付けられた汎用方策を用いることで、ロバストな転送と適応ベースの転送を統合すること。
• 密度の高い報酬やテスト時の複数回のロールアウトを必要とせず、既存の強化学習および変分推論ワークフローと互換性を持つこと。

提案手法

• 新しいテストエピソードの初期段階から早期の軌道データを収集するためのプローブ方策を学習する。
• 推論モデル（例：変分自己符号化器）が、エピソードのわずかな割合（例：5%）のデータのみを用いて、未知のダイナミクスを表す潜在変数を推定する。
• 推定された潜在変数を、事前に学習済みの汎用制御方策の入力として用い、即座に適用可能にする。
• 観測された軌道から、変分推論を用いてダイナミクスの分離表現を学習する。
• プローブと推論モデルを訓練中に共同最適化することで、潜在変数の推定を高速かつ正確に行う。
• テスト時に汎用方策は固定され、さらなるファインチューニングや勾配更新を必要としない。

実験結果

リサーチクエスチョン

• RQ1 未知のダイナミクスで報酬が入手不可な状況下でも、強化学習エージェントが1回のテストエピソードで近似的最適なパフォーマンスを達成できるか？
• RQ2 最小限の初期状態観測から、どのように迅速に潜在的ダイナミクスを推定し、即座に方策を適用可能にするか？
• RQ3 プローブ・推論・汎用方策のモジュラーなアプローチが、既存の適応やメタラーニング手法に比べ、1エピソード設定で優れた性能を発揮するか？
• RQ4 プローブ長や潜在変数の次元数の変動に対して、この手法はどれほど頑健か？
• RQ5 高次元MDPにおいて、連続的および不連続的ダイナミクスの両方に対して一般化可能か？

主な発見

• SEPTは、すべてのベンチマークドメインにおいて、モデルベース手法の最先端手法（Killian et al., 2017）を累積報酬と計算速度の両面で大きく上回った。
• 不連続的ダイナミクスを有する2次元ナビゲーション環境では、DPTや他のベースラインと比較して高い累積報酬を達成したが、これはプローブ長が最適でない場合でも同様であった。
• プローブ長や潜在次元数の変動に対してもSEPTは頑健な性能を示し、ハイパーパrameterが最適でない場合でも強力な結果を維持した。
• テスト時に報酬が入手不可な状況では、最適化ベースのメタラーニング手法（例：MAML）を上回る性能を示した。
• 2次元ナビゲーションではプローブフェーズが高速な解決に不可欠であったが、Acrobotではベースラインと同等の性能、HIVでは優れた性能を示し、異なるダイナミクスに適応可能であった。
• ロバストな転送ベースラインと比較してSEPTは良好なパフォーマンスを発揮し、潜在変数のダイナミクスに大きな不連続効果を及ぼす環境において明確な優位性を示した。