[論文レビュー] RL-ViGen: A Reinforcement Learning Benchmark for Visual Generalization

Zhecheng Yuan, Sizhe Yang+4 more|arXiv (Cornell University)|Jul 15, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

RL-ViGen は、照明、カメラ画角、視覚的外観など、複数の一般化タイプを含む、多様で現実的であるタスク環境（操作、ナビゲーション、自動運転など）を統合した、視覚一般化のための新しい強化学習ベンチマークである。統一されたフレームワーク内で評価された結果、最先端のアルゴリズムは普遍的な優位性を示さず、現実世界の設定においてより強固で一般化可能なエージェントの必要性が浮き彫りになった。

ABSTRACT

Visual Reinforcement Learning (Visual RL), coupled with high-dimensional observations, has consistently confronted the long-standing challenge of out-of-distribution generalization. Despite the focus on algorithms aimed at resolving visual generalization problems, we argue that the devil is in the existing benchmarks as they are restricted to isolated tasks and generalization categories, undermining a comprehensive evaluation of agents' visual generalization capabilities. To bridge this gap, we introduce RL-ViGen: a novel Reinforcement Learning Benchmark for Visual Generalization, which contains diverse tasks and a wide spectrum of generalization types, thereby facilitating the derivation of more reliable conclusions. Furthermore, RL-ViGen incorporates the latest generalization visual RL algorithms into a unified framework, under which the experiment results indicate that no single existing algorithm has prevailed universally across tasks. Our aspiration is that RL-ViGen will serve as a catalyst in this area, and lay a foundation for the future creation of universal visual generalization RL agents suitable for real-world scenarios. Access to our code and implemented algorithms is provided at https://gemcollector.github.io/RL-ViGen/.

研究の動機と目的

• 既存の視覚強化学習ベンチマークの限界に対処する。これらは孤立したタスクと狭い一般化カテゴリに限定されている。
• 現在のベンチマークへのアルゴリズムの過剰適合のリスクを軽減するため、より広範かつ多様な評価フレームワークを導入する。
• 複数のタスクカテゴリおよび視覚的摂動に対する視覚一般化能力の包括的で公平かつ信頼性の高い評価を可能にする。
• 最先端の視覚強化学習一般化アルゴリズムの統一されたトレーニングおよび評価フレームワークを提供し、一貫した比較を保証する。
• 現実世界への展開に適したユニバーサルな視覚一般化エージェントの開発の基盤を築く。

提案手法

• 歩行、テーブルトップ操作、自動運転、屋内ナビゲーション、器用なハンド操作の5つのタスクカテゴリを含むベンチマークを設計する。
• 各タスクに複数の一般化タイプ（視覚的外観、照明変化、カメラ画角、シーン構造、クロスエンベッディング移行）を統合する。
• さまざまな最先端の視覚強化学習アルゴリズムのための統一されたトレーニングフレームワークを実装し、一貫した最適化方針と公平な比較を確保する。
• すべての環境で高精細で現実的なレンダリングを実装し、現実世界の視覚的ばらつきをより正確に反映する。
• 多様なデータ拡張技術（例：ランダムクロップ、カラーフィッティング、サリエンシーに基づくマスキング）を統合し、視覚的摂動下での耐性をテストする。
• 一般化スコアとトレーニング効率指標（例：サンプル効率、ウォールクロック時間）の両方を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 既存の視覚強化学習一般化アルゴリズムは、多様で現実的なタスク環境において一貫した性能を発揮できるか？
• RQ2 照明変化、カメラ画角のシフト、視覚的外観の変化といった異なる一般化タイプは、アルゴリズムの性能にどのように影響するか？
• RQ3 現在のアルゴリズムは、異なるエージェントの身体的形状（エンベッディング）やタスク構造に対してどの程度一般化できるか？
• RQ4 異なるアルゴリズムにおいて、一般化性能とトレーニング効率（例：サンプル効率、ウォールクロック時間）のトレードオフはどの程度か？
• RQ5 複雑で高次元の視覚環境において、データ拡張戦略の選択が一般化に顕著に影響を与えるか？

主な発見

• 1つのアルゴリズムがすべてのタスクおよび一般化タイプにおいて一貫して他のアルゴリズムを上回ることはなく、現在の手法には普遍的な一般化能力が欠けていることが示された。
• DrQ-v2 は、エージェントが中央に配置されており、データ拡張ノイズが加えられている状況で、歩行およびテーブルトップ操作タスクにおいて優れたサンプル効率を示した。
• CURL は、対照的損失を用いた1つの共有エンコーダーを採用した場合、歩行および操作タスクにおいて DrQ-v2 と同等のサンプル効率を達成した。
• SGQN や PIE-G といったアルゴリズムは、動的ビデオ背景や干渉要因を含む複雑な視覚的シナリオでより優れた一般化性能を示したが、DrQ-v2 は高干渉環境下でエントロピー収縮に苦しんだ。
• ウォールクロック時間のトレーニング時間分析から、DrQ-v2 が最も効率的であることが判明した。一方、サリエンシー地図（SGQN）や事前学習表現（PIE-G）を用いる手法は、より高い計算コストを要した。
• ベンチマークの結果、第一人称視点環境（例：Habitat、CARLA）はデータ拡張ノイズに対してより頑健であり、アルゴリズム間での性能ばらつきが小さくなった。