[論文レビュー] Learning Invariant Representations for Reinforcement Learning without Reconstruction

Amy Zhang, Rowan McAllister+3 more|arXiv (Cornell University)|Jun 18, 2020

Reinforcement Learning in Robotics参考文献 37被引用数 77

ひとこと要約

本論文は Deep Bisimulation for Control (DBC) を紹介する。再構成を伴わない表現学習法で、距離が bisimulation 指標を反映する潜在表現を学習し、ノイズとなる distractors を含む高次元観測からの堅牢な制御を実現する。

ABSTRACT

We study how representation learning can accelerate reinforcement learning from rich observations, such as images, without relying either on domain knowledge or pixel-reconstruction. Our goal is to learn representations that both provide for effective downstream control and invariance to task-irrelevant details. Bisimulation metrics quantify behavioral similarity between states in continuous MDPs, which we propose using to learn robust latent representations which encode only the task-relevant information from observations. Our method trains encoders such that distances in latent space equal bisimulation distances in state space. We demonstrate the effectiveness of our method at disregarding task-irrelevant information using modified visual MuJoCo tasks, where the background is replaced with moving distractors and natural videos, while achieving SOTA performance. We also test a first-person highway driving task where our method learns invariance to clouds, weather, and time of day. Finally, we provide generalization results drawn from properties of bisimulation metrics, and links to causal inference.

研究の動機と目的

• 高次元観測におけるタスクと無関係な詳細を無視し、タスクに関連する表現の学習を動機づける。
• 潜在空間の距離が bisimulation 距離に近づくような実用的なエンコーダ学習目的を提案する。
• 視覚的ディストラクタや実世界に近い場面で学習された表現が下流の制御を改善することを示す。
• 学習した表現と価値関数の上限/下限および因果推論概念を結びつける理論的保証を提供する。

提案手法

• 状態再構成を伴わずに、バイサミュレーション指標を定義し表現学習を誘導する。
• 式(4)のように、潜在表現間のL1距離が報酬差と Wasserstein 距離に基づく遷移差に一致するようにエンコーダ phi を学習する。
• 確率的ダイナミクスモデルと2-Wasserstein距離を潜在遷移の計算に活用して損失を算出する。
• エンコーダを Soft Actor-Critic (SAC) と統合して実践的な強化学習アルゴリズム（Algorithm 2）を構築する。
• 学習した pi*-bisimulation 指標の固定点への収束を証明（定理1）し、価値関数の上界を導く結果を導出する（定理2–定理5）。
• DMCタスクのディストラクターとCARLA駆動の自動運転シナリオで、再構成ベースおよび対比学習ベースのベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 タスク非関連のディストラクタを含むピクセル観測から、バイサミュレーション指標に基づく再構成を使わない表現学習目的は、堅牢な制御を実現できるか。
• RQ2 L1距離がbisimulation距離に近い潜在空間を学習することは、新しいディストラクタや新しい報酬関数への一般化を改善するか。
• RQ3 学習した表現と価値関数のリプシッツ性およびサブ最適性の境界を結ぶ理論的保証は何か。
• RQ4 視覚ベースの制御タスクにおける再構成ベースおよび対比ベースの表現学習ベースラインとDBCはどう比較されるか。
• RQ5 高忠実度の現実的映像（例: CARLA運転）へスケールしてもベースラインを上回ることができるか。

主な発見

指標	SAC	DeepMDP	DBC (ours)
successes (100m)	12%	17%	24%
distance (m)	123.2±7.43	106.7±11.1	179.0±11.4
crash intensity	4604±30.7	1958±15.6	2673±38.5
average steer (%)	16.6%±0.019%	10.4%±0.015%	7.3%

• DBCは再構成ベースの手法が苦戦する自然な動画背景を含む複雑なディストラクターに対して、視覚制御タスクで頑健性を発揮する。
• DBCが学習する潜在空間は、タスクに関連する構成と一致する構造を示し、定性的な可視化（例: t-SNE）によって示される。
• 理論的結果は、バイサミュレーションベースの表現で学習した価値関数のサブ最適性を束縛する（定理2–定理5）。
• CARLAの映像を用いた自動運転では、DBCはSAC、DeepMDP、再構成、対比ベースのベースラインを運転指標で上回る。
• 一般化実験は、学習した表現がディストラクターのタイプを横断して転移し、報酬の因果祖先が保持されると報酬の一般化を支持することを示す。