[論文レビュー] Pre-Trained Image Encoder for Generalizable Visual Reinforcement Learning

Zhecheng Yuan, Zhengrong Xue+5 more|arXiv (Cornell University)|Dec 17, 2022

Domain Adaptation and Few-Shot Learning被引用数 13

ひとこと要約

この論文では、ImageNetで事前学習されたResNetエンコーダーの初期層特徴をそのまま利用することで、未学習の視覚的環境への強力なゼロショット一般化を達成する視覚的強化学習フレームワーク、PIE-Gを提案する。エンコーダーを固定し、継続的に更新されるBatchNormを用いることで、DMControl一般化ベンチマークにおいて先行SOTAより平均55%の性能向上を達成し、事前学習済み表現が視覚的RLにおけるデータサンプル効率と耐障害性を顕著に向上させられることを示している。

ABSTRACT

Learning generalizable policies that can adapt to unseen environments remains challenging in visual Reinforcement Learning (RL). Existing approaches try to acquire a robust representation via diversifying the appearances of in-domain observations for better generalization. Limited by the specific observations of the environment, these methods ignore the possibility of exploring diverse real-world image datasets. In this paper, we investigate how a visual RL agent would benefit from the off-the-shelf visual representations. Surprisingly, we find that the early layers in an ImageNet pre-trained ResNet model could provide rather generalizable representations for visual RL. Hence, we propose Pre-trained Image Encoder for Generalizable visual reinforcement learning (PIE-G), a simple yet effective framework that can generalize to the unseen visual scenarios in a zero-shot manner. Extensive experiments are conducted on DMControl Generalization Benchmark, DMControl Manipulation Tasks, Drawer World, and CARLA to verify the effectiveness of PIE-G. Empirical evidence suggests PIE-G improves sample efficiency and significantly outperforms previous state-of-the-art methods in terms of generalization performance. In particular, PIE-G boasts a 55% generalization performance gain on average in the challenging video background setting. Project Page: https://sites.google.com/view/pie-g/home.

研究の動機と目的

• 特定の環境に過学習してしまう視覚的強化学習エージェントが、未観測の視覚的シナリオに一般化できないという課題に対処すること。
• 市販の事前学習済み視覚的表現が、追加の環境固有データなしに視覚的RLの一般化を向上させる普遍的事前知識として機能するかを調査すること。
• 事前学習エンコーダー内での最適な構成要因（特にどの層と正規化戦略）を同定し、一般化性能とデータサンプル効率を最大化すること。
• シミュレーテッド制御タスクと現実的なドライブシミュレーターを含む多様なベンチマークでフレームワークを検証し、耐障害性と転送可能性を示すこと。

提案手法

• ImageNetで事前学習されたResNetエンコーダーのパラメータを固定し、その初期層特徴をRLエージェントの視覚的表現として使用する。
• 訓練中に継続的に更新されるBatchNorm（BatchNorm）を適用することで、エンコーダーの微調整なしに新しいデータ分布に適応できるようにする。
• 環境固有の事前学習やデータ拡張なしに、事前学習済みエンコーダーを固定された特徴抽出器として使用する。
• 抽出された特徴を標準的な強化学習訓練パイプラインに統合し、視覚的エンコーダーを固定したままポリシーのエンドツーエンド訓練を可能にする。
• ゼロショット一般化プロトコルを用いて複数のベンチマークでフレームワークを評価し、最先端手法と性能を比較する。
• ImageNetエンコーダーをCLIP、Ego4D、MoCo-v2で事前学習されたモデルに置き換えることで、アプローチの耐障害性をテストし、他の事前学習表現に対しても一般化可能であることを確認する。

実験結果

リサーチクエスチョン

• RQ1 ImageNetから得られる市販の事前学習済み視覚的表現は、視覚的強化学習におけるゼロショット一般化を改善できるか？
• RQ2 事前学習済みResNetエンコーダーのどの層が視覚的RLタスクにおいて最も一般化可能な特徴を生成するか？
• RQ3 固定統計と比較して、固定エンコーダーで継続的に更新されるBatchNormを使用することで一般化性能が向上するか？
• RQ4 環境固有の事前学習やデータ拡張を必要とする手法と比較して、事前学習済みエンコーダーの性能はどの程度か？
• RQ5 提案されたフレームワークは、シミュレーテッド制御タスクと現実的な自動運転シミュレーターを含む多様なベンチマークで一般化可能か？

主な発見

• PIE-Gは、DMControl一般化ベンチマークの最も挑戦的な設定において、先行SOTA手法より平均55%の一般化性能向上を達成した。
• 固定されたImageNetで事前学習されたResNetの初期層特徴を用いることで一般化性能が顕著に向上し、環境固有のデータ拡張に依存する手法を上回った。
• 継続的に更新されるBatchNormが性能向上に不可欠であることが判明した。これは、推論時に分布外の視覚的分布に適応できるようにするためである。
• 事前学習エンコーダーの微調整は、分布シフトのため性能が低下することから、固定された表現の方が一般化に対してより耐障害性があることが示された。
• CLIP や MoCo-v2 で事前学習された他のモデルでも良好な結果が得られたことから、恩恵は特定のデータセットではなく、事前学習の分布に起因することが確認された。
• DMControl、Drawer World、CARLAを含む多様なベンチマークで、フレームワークは強力な性能を維持した。これは、広範な適用可能性と耐障害性を示している。