[論文レビュー] Learning Actionable Representations from Visual Observations

Debidatta Dwibedi, Jonathan Tompson+2 more|arXiv (Cornell University)|Aug 2, 2018

Human Pose and Action Recognition参考文献 39被引用数 16

ひとこと要約

本論文は、複数の動画フレームを同時に埋め込むことで、静的および運動的属性を統合的に学習する自己教師あり手法である多フレーム時間対照ネットワーク（mfTCN）を提案する。位置および速度推定の向上により、mfTCNはピクセル観測のみを用いても、連続的制御タスクにおける有効な方策学習を可能にし、シミュレート環境および現実世界のベンチマークで、状態ベースのポリシーと同等の性能を達成する。

ABSTRACT

In this work we explore a new approach for robots to teach themselves about the world simply by observing it. In particular we investigate the effectiveness of learning task-agnostic representations for continuous control tasks. We extend Time-Contrastive Networks (TCN) that learn from visual observations by embedding multiple frames jointly in the embedding space as opposed to a single frame. We show that by doing so, we are now able to encode both position and velocity attributes significantly more accurately. We test the usefulness of this self-supervised approach in a reinforcement learning setting. We show that the representations learned by agents observing themselves take random actions, or other agents perform tasks successfully, can enable the learning of continuous control policies using algorithms like Proximal Policy Optimization (PPO) using only the learned embeddings as input. We also demonstrate significant improvements on the real-world Pouring dataset with a relative error reduction of 39.4% for motion attributes and 11.1% for static attributes compared to the single-frame baseline. Video results are available at https://sites.google.com/view/actionablerepresentations .

研究の動機と目的

• ラベル付き状態や報酬を必要とせず、動画観測から静的および運動的属性を捉える自己教師あり視覚的表現学習手法の開発。
• TCNのような単一フレーム手法が速度や時間的ダイナミクスを効果的に表現できないという限界の解消。
• プロプライオセプティブな状態入力と同等の情報を含む表現を学習することで、ピクセルからのエンドツーエンド強化学習を可能にすること。
• 特にドメインシフトや新しい物体に直面した場合の一般化性および耐性の向上を図ること、特に現実世界のロボット制御タスクにおいて。
• 自己教師あり視覚的表現が連続的制御環境において、状態ベースのポリシーと同等の性能を達成できることの実証。

提案手法

• Time-Contrastive Networks (TCN) を拡張し、1回の順伝播で複数の連続フレームを同時に処理する多フレーム埋め込みを実現する。
• 同じイベントの異なる視点からのクリップをポジティブペアとし、異なる時刻のクリップをネガティブペアとする対照的損失を用いる。
• 時間的に整合するクリップ（同じイベントの異なる視点）が埋め込み空間で近くなるようにネットワークを訓練し、整合しないクリップは遠ざける。
• フレーム間の変化をモデル化することで、時間的文脈を活用し、運動属性（例：速度、加速度）の表現を向上させる。
• 学習された埋め込みを、Proximal Policy Optimization (PPO) の入力として用い、ピクセルからの直接的な連続的制御ポリシーの訓練を実施する。
• 下流タスクを用いて埋め込みの質を評価：静的および運動的属性の最近傍探索分類、同期された動画ビュー間の時間的整合性誤差。

実験結果

リサーチクエスチョン

• RQ1 多フレームの視覚的表現は、単一フレーム表現よりも、位置および速度推定をどれほど正確に学習できるか？
• RQ2 動画からのみ学習された自己教師あり視覚的表現は、真の状態情報が入手不可な連続的制御タスクにおいても、有効な方策学習を可能にするか？
• RQ3 複数フレームからの時間的文脈は、単一フレームベースラインと比較して、運動属性の表現をどの程度向上させるか？
• RQ4 mfTCNの表現は、液体の注ぎ口など、現実世界のロボット制御タスク（例：液体の注ぎまね）にどの程度一般化可能か？
• RQ5 mfTCNに基づくポリシーは、真のプロプライオセプティブ状態観測で訓練されたポリシーと同等の性能を達成できるか？

主な発見

• 実世界のPouringデータセットにおいて、mfTCNは単一フレームTCNベースラインと比較して、運動的属性分類誤差を39.4%、静的属性誤差を11.1%削減した。
• 13フレームの入力ウィンドウ（mfTCN 13）を用いたモデルが最良の性能を示し、運動的属性誤差をTCNベースラインの30.2%から18.3%にまで低減した。
• 時間的文脈を組み込むことで、運動的属性認識の向上に加え、特に「液体を含む」や「液体が流れている」などの属性の静的属性分類にも寄与した。
• 最大の入力ウィンドウ（29フレーム）が最小の時間的整合性誤差を達成し、埋め込み空間におけるクリップの明確な区別が図れた。
• DeepMind Control SuiteでmfTCN埋め込みを用いて訓練したポリシーは、真の状態表現で訓練したポリシーと同等の性能を示し、学習された特徴量の行動可能性を裏付けた。
• 本手法により、ピクセルからの直接的な有効な方策学習が可能となり、学習から再び開始するピクセルベースの訓練および先行する自己教師あり手法（例：PVE）を上回った。