[論文レビュー] Mid-Level Visual Representations Improve Generalization and Sample Efficiency for Learning Visuomotor Policies

Alexander F. Sax, Bradley Emi+4 more|arXiv (Cornell University)|Dec 31, 2018

Visual perception and processing mechanisms参考文献 82被引用数 49

ひとこと要約

この論文は、中間レベルの視覚特徴の集合を凍結することで、RLで学習された視覚運動ポリシーのサンプル効率と一般化を改善し、タスク包含的な特徴セットを得る最大カバレッジ特徴セレクタを提案する。

ABSTRACT

How much does having visual priors about the world (e.g. the fact that the world is 3D) assist in learning to perform downstream motor tasks (e.g. delivering a package)? We study this question by integrating a generic perceptual skill set (e.g. a distance estimator, an edge detector, etc.) within a reinforcement learning framework--see Figure 1. This skill set (hereafter mid-level perception) provides the policy with a more processed state of the world compared to raw images. We find that using a mid-level perception confers significant advantages over training end-to-end from scratch (i.e. not leveraging priors) in navigation-oriented tasks. Agents are able to generalize to situations where the from-scratch approach fails and training becomes significantly more sample efficient. However, we show that realizing these gains requires careful selection of the mid-level perceptual skills. Therefore, we refine our findings into an efficient max-coverage feature set that can be adopted in lieu of raw images. We perform our study in completely separate buildings for training and testing and compare against visually blind baseline policies and state-of-the-art feature learning methods.

研究の動機と目的

• 中間レベルの視覚特徴がRLベースの視覚運動タスクにおけるサンプル効率を改善するかを評価する。
• 特徴ベースのポリシーの未知環境への一般化を評価する。
• 固定された特徴で複数のタスクに十分か、あるいは特徴セットが必要かを判断する。

提案手法

• 事前学習済みの中間レベル視覚エンコーダを凍結・再利用して、生データをRLポリシーの入力に変換する。
• 特徴拡張観測でポリシーを訓練する際に、オフポリシー補正を用いたPPOを適用する。
• Gibson環境の移動・探索・計画タスクにおいて20個の中間レベル特徴を評価し、訓練/テストを別建物で分割して評価する。
• 難易度を考慮するため、盲目ベースラインに対する相対報酬で性能を定量化する。
• 最悪ケースの転送距離を最小化する、コンパクトな特徴サブセットを選ぶ最大カバレッジ特徴セレクタを提案する。

実験結果

リサーチクエスチョン

• RQ1 中間レベル視覚特徴は、scratchから学習する場合と比べて学習速度（サンプル効率）を高めるか。
• RQ2 中間レベル特徴は未知環境への一般化を高めるか。
• RQ3 単一の固定特徴で全ての下流視覚運動タスクを賄えるか、それとも多様な特徴セットが必要か。
• RQ4 コンパクトな特徴サブセットはデータと計算量を削減しつつ性能を維持できるか。

主な発見

• 中間レベルの特徴は、試験されたタスクにおいてscratchポリシーと比較してより速い学習を実現する。
• 未知のテスト環境で、いくつかの特徴ベースのエージェントがscratchで訓練されたポリシーより高い最終性能を達成する。
• 順位の反転は普遍的な特徴が存在しないことを示す；最良の特徴は下流タスクに依存する（ナビゲーションには意味特徴、探索には幾何特徴が有利）。
• 最大カバレッジ特徴セレクタは、最良のタスク特化特徴に近づく、あるいはそれを上回るコンパクトな特徴セットを、はるかに少ないデータ量で作り出すことができる。
• この特徴セットは複数の建物および二つ目のシミュレータ（VizDoom）でも一般化することを示しており、様々な設定下で本アプローチの普遍性を支持する。