[論文レビュー] MoVie: Visual Model-Based Policy Adaptation for View Generalization

Sizhe Yang, Yanjie Ze+1 more|arXiv (Cornell University)|Jul 3, 2023

Domain Adaptation and Few-Shot LearningComputer Science被引用数 3

ひとこと要約

MoVieは、訓練時の変更なしに視覚モデルベース強化学習方策の視点一般化を達成するためのテスト時適応手法を提案する。空間変換ネットワーク（STN）を浅いエンコーダー層に統合し、固定されたダイナミクスモデルを自己教師信号として用いることで、新規の視点、移動する視点、揺れる視点、変更された視野（FOV）条件を含む困難な視点一般化シナリオにおいて、18のタスクで最大152%の相対的改善を達成する。

ABSTRACT

Visual Reinforcement Learning (RL) agents trained on limited views face significant challenges in generalizing their learned abilities to unseen views. This inherent difficulty is known as the problem of $ extit{view generalization}$. In this work, we systematically categorize this fundamental problem into four distinct and highly challenging scenarios that closely resemble real-world situations. Subsequently, we propose a straightforward yet effective approach to enable successful adaptation of visual $ extbf{Mo}$del-based policies for $ extbf{Vie}$w generalization ($ extbf{MoVie}$) during test time, without any need for explicit reward signals and any modification during training time. Our method demonstrates substantial advancements across all four scenarios encompassing a total of $ extbf{18}$ tasks sourced from DMControl, xArm, and Adroit, with a relative improvement of $\mathbf{33}$%, $\mathbf{86}$%, and $\mathbf{152}$% respectively. The superior results highlight the immense potential of our approach for real-world robotics applications. Videos are available at https://yangsizhe.github.io/MoVie/ .

研究の動機と目的

• 限られたカメラ視点での学習によって訓練された方策が、現実世界のロボティクスで未観測の視点で失敗するという、視覚強化学習における視点一般化の重要な課題に対処すること。
• テスト時シナリオとして現実的である4つの視点一般化のカテゴリを体系的に分類すること：新規視点、移動視点、揺れる視点、新規視野（FOV）。
• 訓練時の変更なし、報酬信号依存なしに、視覚モデルベース方策が推論時における未観測視点に適応できる、シンプルでありながら効果的な手法を開発すること。
• 実世界に近い視点の変化を伴う多様なロボット環境（操作および歩行タスクを含む）において、本手法の有効性を実証すること。

提案手法

• MoVieは、視覚エンコーダーの浅い層に空間変換ネットワーク（STN）を挿入することで、視点不変表現を学習する空間的適応エンコーダー（SAE）を導入する。
• 本手法は、ダイナミクスモデル（DM）を固定したまま、SAEのみを微調整することでテスト時適応を実行し、DMの自己教師的ダイナミクス予測目的を学習信号として用いる。
• ダイナミクスモデルは訓練時に事前学習され、適応段階で固定されたまま維持され、適応されたエンコーダーが新しい視点に一致するための一貫した監視を提供する。
• 本手法は任意の視覚モデルベース強化学習アルゴリズムと互換性があり、効果的な適応にわずかな数の環境インタラクションで十分である。
• 適応段階では報酬信号を一切必要としないため、現実世界への実装においても堅牢で実用的である。

実験結果

リサーチクエスチョン

• RQ1 訓練時の変更なしに、テスト時に未観測のカメラ視点に視覚モデルベース方策を効果的に適応できるか？
• RQ2 エンコーダーに空間変換ネットワーク（STN）を統合することで、視覚強化学習における視点一般化がどの程度達成できるか？
• RQ3 テスト時適応段階で固定されたダイナミクスモデルを自己教師信号として用いることで、エンドツーエンドの微調整やベースライン手法と比較して優れた性能が得られるか？
• RQ4 本手法は、移動・揺れる・新規視野（FOV）条件を含む多様で現実的な視点一般化シナリオにおいて、どの程度の性能を発揮するか？

主な発見

• MoVieは、強力なベースラインと比較して、xArmタスクで86%、Adroitタスクで152%の相対的改善を達成し、ロボット操作タスクにおける有効性を示している。
• チェータ、走行ロコモーションタスクでは、すべての設定で12%の改善を達成しており、特に困難な新規FOV設定では15%の向上を示している。
• アブレーションスタディの結果、適応段階でダイナミクスモデルを固定することで、エンドツーエンド微調整よりも優れた結果が得られ、安定した自己教師信号の価値が裏付けられた。
• 逆ダイナミクスモデル（IDM）とのSTN統合により、性能がさらに向上し、空間的適応メカニズムの一般化可能性が裏付けられた。
• MoVieは、18のタスクおよび64の設定すべてにおいて、揺れる視点や移動視点を含む多様な設定で、強力なベースラインを一貫して上回っている。