[論文レビュー] Learning Invariant Representations for Reinforcement Learning without Reconstruction

Amy Zhang, Rowan McAllister+3 more|arXiv (Cornell University)|Jun 18, 2020

Reinforcement Learning in Robotics被引用数 97

ひとこと要約

本論文は Deep Bisimulation for Control (DBC) を紹介する。これは再構成を伴わない表現学習手法であり、ブリソリュームメトリクスに整合する潜在 encodings を学習することで、高次元観測からのデータ効率のよい強化学習を改善し、タスクに関連しない細部を無視する。

ABSTRACT

We study how representation learning can accelerate reinforcement learning from rich observations, such as images, without relying either on domain knowledge or pixel-reconstruction. Our goal is to learn representations that both provide for effective downstream control and invariance to task-irrelevant details. Bisimulation metrics quantify behavioral similarity between states in continuous MDPs, which we propose using to learn robust latent representations which encode only the task-relevant information from observations. Our method trains encoders such that distances in latent space equal bisimulation distances in state space. We demonstrate the effectiveness of our method at disregarding task-irrelevant information using modified visual MuJoCo tasks, where the background is replaced with moving distractors and natural videos, while achieving SOTA performance. We also test a first-person highway driving task where our method learns invariance to clouds, weather, and time of day. Finally, we provide generalization results drawn from properties of bisimulation metrics, and links to causal inference.

研究の動機と目的

• 高次元観測において注意散漫ノイズを無視するタスク関連表現の学習を動機づける。
• 潜在距離が bisimulation 距離に一致するようエンコーダを訓練する勾配ベースの手法を提案する。
• 多様な視覚的干渉に対して、学習した表現が頑健な下流制御を可能にすることを示す。
• 学習した表現と最適価値関数の境界および因果特徴集合との結びつきを示す理論的保証を提供する。

提案手法

• J(phi) による損失を介して、潜在空間距離を on-policy bisimulation metric に合わせる定義と最適化を行う。|z_i - z_j|_1 と |r_i - r_j| + gamma W_2(P_hat(.|z_i,a_i), P_hat(.|z_j,a_j)) (Equation 4) を整合させる。
• 潜在遷移の予測次状態ガウス分布間の Wasserstein-2 距離を計算する確率的ダイナミクスモデルを用いる。
• エンコーダー φ を強化学習アルゴリズム（SAC）と統合し、エンコーダー、ポリシー、ダイナミクスモデルを反復的に学習する（Algorithm 1 および Algorithm 2）。
• 学習された pi*-bisimulation metric が固定点へ収束することを主張・証明し、bisimulation ベースの潜在距離に関する価値関数のリプシッツ境界を示す。
• bisimulation ベースの表現と報酬の因果祖先、およびタスク一般化との関連に関する一般化の洞察を提供する。

実験結果

リサーチクエスチョン

• RQ1 非再構成型で bisimulation ベースの表現が、視覚ベースの RL における干渉を無視してタスク関連の潜在表現を学習できるか？
• RQ2 潜在空間距離を bisimulation 距離に揃えることが、再構成法やコントラスト法と比較してデータ効率と視覚的注意散漫への頑健性を改善するか？
• RQ3 学習した表現と価値関数の境界および因果推論の概念を結ぶ理論的保証は何か？
• RQ4 報酬関数の異なる場合や干渉タイプ（例: clouds, weather, time-of-day in driving tasks）での一般化性能はどの程度か？

主な発見

手法	成功数（100m）	距離（m）	クラッシュ強度	平均ステアリング
SAC	12	123.2 ± 7.43	4604 ± 30.7	16.6% ± 0.019%
DeepMDP	17	106.7 ± 11.1	1958 ± 15.6	10.4% ± 0.015%
DBC (ours)	24	179.0 ± 11.4	2673 ± 38.5	7.3%

• DBC は視覚的制御ベンチマークにおける背景ノイズへの最先端の頑健性を示し、 distracted MuJoCo タスクで再構成法およびコントラスト法のベースラインを上回る。
• 高視覚リアリズムを持つ運転スタイルのタスク（CARLA）では、DBC はベースラインを大きく上回し、衝突なしでより高いタスク成功率とより大きな距離を達成。
• 運転実験では、次点のベースラインに対して 46.8% の改善を達成。
• DBC が学習した潜在表現は、背景の変化に関係なく、類似のタスク関連状態を一緒にクラスタリングすることを、定性的な可視化によって示している。
• 理論的結果は、学習された潜在的 bisimulation metric を最適価値関数のリプシッツ境界および報酬予測の因果祖先の十分性へ結びつける。
• 実証的な一般化: 学習された表現は、未見の干扰および同じ因果祖先を共有する新しい報酬関数にも一般化する。