[論文レビュー] Masked Visual Pre-training for Motor Control

Tete Xiao, Ilija Radosavovic+2 more|arXiv (Cornell University)|Mar 11, 2022

Advanced Neural Network Applications被引用数 41

ひとこと要約

本研究は、実世界の画像からの自己教師あり視覚事前学習により、凍結された視覚エンコーダを用いたピクセルベースの運動制御が可能となり、教師ありエンコーダを上回り、時には oracle 状態の性能と同等に達する。

ABSTRACT

This paper shows that self-supervised visual pre-training from real-world images is effective for learning motor control tasks from pixels. We first train the visual representations by masked modeling of natural images. We then freeze the visual encoder and train neural network controllers on top with reinforcement learning. We do not perform any task-specific fine-tuning of the encoder; the same visual representations are used for all motor control tasks. To the best of our knowledge, this is the first self-supervised model to exploit real-world images at scale for motor control. To accelerate progress in learning from pixels, we contribute a benchmark suite of hand-designed tasks varying in movements, scenes, and robots. Without relying on labels, state-estimation, or expert demonstrations, we consistently outperform supervised encoders by up to 80% absolute success rate, sometimes even matching the oracle state performance. We also find that in-the-wild images, e.g., from YouTube or Egocentric videos, lead to better visual representations for various manipulation tasks than ImageNet images.

研究の動機と目的

• ピクセル観測からのタスク固有の視覚表現の微調整なしに、運動制御を直接学習する動機付け。
• 自己教師ありのウェイルド画像からの事前学習が、教師ありエンコーダより運動制御性能を改善することを示す。
• ピクセルベースの運動制御のための高速でスケーラブルな PixMC ベンチマークを提供する。
• 物体・シーン・ロ봇構成を横断する学習表現の一般化を示す。

提案手法

• 実世界の画像コレクション（HOI）と比較のための ImageNet を用いて MAE によるマスクド画像モデリングで視覚エンコーダを事前学習する。
• 事前学習済みの視覚エンコーダを凍結し、PPO を用いて視覚特徴と固有受容状態を連結した上でタスク固有の運動制御器を訓練する。
• 固定画像特徴量の上に軽量な MLP 制御器を置き、行動デルタを予測する。
• 高容量の ViT ベースのエンコーダ（ViT-Small）と MAE の軽量デコーダを活用して、頑健な表現を促進する。
• 高速 GPU ベースのシミュレータ（IsaacGym）と分散訓練セットアップを提供し、ピクセルベース強化学習をスケールさせる。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり視覚プリトレーニングは、個別タスクの微調整なしに、ピクセルから多様な運動制御タスクを解決できるか。
• RQ2 現地データ源（HOI）は、ImageNet よりも操作タスクの表現を改善するか。
• RQ3 MVP は、ピクセルベースの運動制御タスクのセット全体で、教師ありエンコーダおよび oracle 状態法と比較してどうか。
• RQ4 凍結視覚表現の新しい物体・幾何・妨害要因への一般化能力はどれほどか。

主な発見

• 実世界の画像を用いた単一の事前学習視覚エンコーダは、微調整・状態推定・デモなしで多様な運動制御タスクを解決する。
• 自己教師あり表現は教師ありエンコーダより最大で絶対成功率80%ポイント上回り、場合によっては oracle 状態性能に近づく。
• 現地HOIデータでの事前学習は、ImageNet 事前学習より操作タスクの性能が高い。
• MVP 表現は異なる物体やロボット構成へ一般化し、色・形状の変化といった妨害因子にも頑健である。
• HOIベースの事前学習は PixMC の 8 タスク中 7 タスクで ImageNet を上回る。