[論文レビュー] Unsupervised Visual Attention and Invariance for Reinforcement Learning

Xudong Wang, Long Lian+1 more|arXiv (Cornell University)|Apr 7, 2021

Reinforcement Learning in Robotics参考文献 62被引用数 4

ひとこと要約

本論文では、背景の雑音を除去し、タスクに関連する特徴を強調することで、視覚的観測を適応させるための教師なし手法である Visual Attention and Invariance (VAI) を提案する。VAI は、学習可能なアダプタモジュールを用いて、DeepMind Control および DrawerWorld ベンチマークで最先端の性能を達成し、従来手法よりも平均累積報酬が 15% 高く、推論時の速度は 2 倍以上で、GPU メモリ使用量は 40% 減少する。

ABSTRACT

Vision-based reinforcement learning (RL) is successful, but how to generalize it to unknown test environments remains challenging. Existing methods focus on training an RL policy that is universal to changing visual domains, whereas we focus on extracting visual foreground that is universal, feeding clean invariant vision to the RL policy learner. Our method is completely unsupervised, without manual annotations or access to environment internals. Given videos of actions in a training environment, we learn how to extract foregrounds with unsupervised keypoint detection, followed by unsupervised visual attention to automatically generate a foreground mask per video frame. We can then introduce artificial distractors and train a model to reconstruct the clean foreground mask from noisy observations. Only this learned model is needed during test to provide distraction-free visual input to the RL policy learner. Our Visual Attention and Invariance (VAI) method significantly outperforms the state-of-the-art on visual domain generalization, gaining 15 to 49% (61 to 229%) more cumulative rewards per episode on DeepMind Control (our DrawerWorld Manipulation) benchmarks. Our results demonstrate that it is not only possible to learn domain-invariant vision without any supervision, but freeing RL from visual distractions also makes the policy more focused and thus far better.

研究の動機と目的

• タスク固有の監視情報を必要とせずに、視覚的観測における干渉要因への強化学習エージェントのロバスト性を向上させること。
• 推論時にエンコーダーを逆誤差伝搬する必要がなくなることで、計算コストとメモリコストを低減すること。
• 生の観測を処理する軽量なアダプタモジュールを用いて、新しい環境への効率的でスケーラブルな適応を可能にすること。
• 実世界の展開環境において、視覚的に解釈可能でデバッグ可能な視覚的適応手法を提供すること。
• 背景や干渉要因が異なる環境間で強力な一般化性能を達成すること。特に、DrawerWorld のような実世界に近い設定を含む。

提案手法

• 本手法は、生のピクセル観測を、より不変で注目集中型の表現に変換する学習可能なアダプタモジュールを用いる。これにより、背景の雑音が除去され、タスクに関連する特徴が強調される。
• アダプタは、画像パッチ上で自己教師型の対照的学習を用いて教師なしで訓練され、アイデンティティを保持しつつ、関係のない背景の変動を排除するよう促される。
• アダプタは、潜在特徴空間ではなく観測空間で動作するため、適応後の入力を直接視覚的に解釈・デバッグ可能である。
• エージェントは、標準的な強化学習アルゴリズム（例：SAC）を用いてアダプタと同時にエンドツーエンドで訓練される。アダプタのパラメータは訓練時に逆誤差伝搬で更新されるが、推論時には固定される。
• 本手法は、真値キーポイントアノテーションや外部データセットを必要とせず、画像パッチ上の自己教師型対照的学習に依存する。
• 評価では、学習済みの固定アダプタを多様なテスト環境に適用し、展開データに対するファインチューニングや再学習を行わない。これにより、一般化性能と低コストな展開が保証される。

実験結果

リサーチクエスチョン

• RQ1 教師ありのキーポイントアノテーションが不要な教師なし視覚的適応手法が、干渉要因が豊富な視覚的環境における強化学習エージェントの性能向上に寄与するか。
• RQ2 特徴空間での適応手法（例：PAD）と比較して、本手法のアダプタベースのアプローチは、推論速度とメモリ効率においてどのように優れているか。
• RQ3 アダプタが、異なるテクスチャ、照明、干渉要因の配置を持つ未観測環境にどの程度一般化できるか。
• RQ4 アダプタ出力の視覚的検査が、展開適合性を信頼性高く人間が解釈可能な診断情報として提供できるか。
• RQ5 教師なし適応によって背景雑音を除去することで、干渉要因が存在する状況下でも、より安定的かつロバストなポリシー学習が可能になるか。

主な発見

• VAI は、DeepMind Control の干渉要因豊富な環境において、従来の SOTA（PAD）と比較して平均で 15% の累積報酬向上を達成し、平均報酬は 806 に対し PAD は 698 であった。
• Ball in Cup、catch タスクにおいて、VAI は 956±4 の累積報酬を達成し、PAD の 545±173 より 420 点（相対的に 77%）高い。
• 推論時、VAI は PAD より 2 倍以上高速で、GPU メモリ使用量は 40% 減少している。これは、推論時にエンコーダーを逆誤差伝搬しないことによる。
• 本手法は未観測環境への一般化性能が高く、背景の変化が著しくても、学習時分布レベルに近い性能を維持する。
• 可視化結果から、アダプタが背景雑音を効果的に抑制し、フォアグラウンドのタスク関連構造を強調していることが確認された。ただし、高反射性の表面（例：大理石）ではモデルが混乱する場合がある。
• アダプタの出力は視覚的に解釈可能であり、ポリシーのロールアウトや報酬関数を必要とせず、展開適合性の迅速な評価が可能である。