[論文レビュー] Environment Probing Interaction Policies

Wenxuan Zhou, Lerrel Pinto+1 more|arXiv (Cornell University)|Jul 26, 2019

Reinforcement Learning in Robotics被引用数 33

ひとこと要約

本論文は Environment-Probing Interaction (EPI) ポリシーを紹介します。新しい環境を探査して環境埋め込みを抽出し、それをタスク固有のポリシーが未見の環境への一般化を改善するために使用します。EPI の訓練は転移予測ベースの報酬を用いて探査ポリシーを最適化します。

ABSTRACT

A key challenge in reinforcement learning (RL) is environment generalization: a policy trained to solve a task in one environment often fails to solve the same task in a slightly different test environment. A common approach to improve inter-environment transfer is to learn policies that are invariant to the distribution of testing environments. However, we argue that instead of being invariant, the policy should identify the specific nuances of an environment and exploit them to achieve better performance. In this work, we propose the 'Environment-Probing' Interaction (EPI) policy, a policy that probes a new environment to extract an implicit understanding of that environment's behavior. Once this environment-specific information is obtained, it is used as an additional input to a task-specific policy that can now perform environment-conditioned actions to solve a task. To learn these EPI-policies, we present a reward function based on transition predictability. Specifically, a higher reward is given if the trajectory generated by the EPI-policy can be used to better predict transitions. We experimentally show that EPI-conditioned task-specific policies significantly outperform commonly used policy generalization methods on novel testing environments.

研究の動機と目的

• RLにおける環境一般化を不変ポリシーや明示的なシステム識別だけではなく動機づける。
• 環境情報を抽出する独立した環境探査ポリシー（EPIポリシー）を提案する。
• 探査インタラクションから環境埋め込みを学習し、タスクポリシーをこの埋め込みで条件付ける。
• EPI条件付きポリシーが新規OpenAI Gym MuJoCoタスクで標準ベースラインを上回ることを示す。

提案手法

• Environment-Probing Interaction (EPI) ポリシーとタスク特化ポリシーの2つのポリシーを定義する。
• 遷移予測子を訓練する: バニラ予測子 f(s,a)->s' と EPI条件付き予測子 f_epi(s,a; psi(tau_epi)) を用い、psi(tau_epi) は EPI軌道の埋め込みである。
• 報酬 R_p(pi_epi) を E[ L_epi_pred - L_pred ] に等しく用い、環境遷移予測を改善する軌道を促進する。
• EPIポリシーと予測子の訓練を交互に行う（Vine法によるデータの交互/トレーニングデータと任意の分離損失）。
• 学習後、EPIを実行して環境埋め込みを得て、タスクポリシ pi_task をこの埋め込みで条件付け、TRPOで pi_task を訓練する。
• HopperとStrikerで環境パラメータ（質量、減衰、摩擦）をランダム化して評価する。
• Simple、Invariant、Oracle、Random/History/Recurrent/System-Id/Direct Rewardなどのベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 環境探査ポリシーは、情報量の多い低次元の環境埋め込みを抽出して、別のタスクポリシーが未見環境へ一般化するのに役立つか。
• RQ2 探査軌道の予測ベース報酬は、この目的のための好奇心ベースやランダム探索よりも優れた推進力となるか。
• RQ3 EPI条件付きポリシーは、従来の一般化アプローチ（ドメインランダム化、システム識別、再発ポリシー）と比べて新規環境でどうか。

主な発見

方法	Hopper: 報酬 (↑)	Striker: 最終距離 (↓)
Simple Policy	414±313	1.660±2.010
Invariant Policy	1025±49	0.297±0.068
Random Interaction Policy	1101±27	0.410±0.047
History Policy	1143±156	0.259±0.038
Recurrent Policy	917±180	0.418±0.051
System Id Policy	1033±81	1.113±0.106
Direct Reward	1057±310	0.458±0.004
Ours | EPI + Task-specific Policy	1303±173	0.162±0.015
Ablations | No Vine Data	1214±138	0.293±0.018
Ablations | No Regularization	1203±397	0.308±0.019
Ablations | No Vine and No Regularization	1237±78	0.324±0.057
Oracle | Oracle Policy	1474±205	0.133±0.034

• EPI条件付きのタスクポリシーは、未見テスト環境（ホッパーとストライカー）で標準ベースラインを上回る。
• ホッパーでは、EPIは報酬1303±173を達成し、ベースラインより少なくとも14.0%向上。
• ストライカーでは、EPIは最終距離0.162±0.015を達成し、ベースラインより少なくとも37.5%正確。
• EPI埋め込みは環境パラメータと相関しており、方法が環境誘起の遷移差を分離していることを示唆。
• アブレーションテストはVineデータと正則化が性能を向上させることを示し、それらなしではEPIはほとんどのベースラインを上回るが利益は小さくなる。
• Oracleポリシー（完全な環境パラメータ）は依然とした上限である（報酬1474±205、距離0.133±0.034）。