[論文レビュー] Measuring Visual Generalization in Continuous Control from Pixels

Jake Grigsby, Yanjun Qi|arXiv (Cornell University)|Oct 13, 2020

Reinforcement Learning in Robotics参考文献 39被引用数 8

ひとこと要約

本論文は、DeepMind Control Suiteに、照明、カメラアングル、景観の変化などの多様な視覚的変化を導入することで、連続制御エージェントの視覚的一般化を評価するベンチマークであるDMCRを紹介する。研究では、データ拡張が自己教師あり手法を顕著に上回ること、複雑な色変換が一般化を向上させることを明らかにした。これにより、現実世界への展開において現在の表現学習の限界が浮き彫りになった。

ABSTRACT

Self-supervised learning and data augmentation have significantly reduced the performance gap between state and image-based reinforcement learning agents in continuous control tasks. However, it is still unclear whether current techniques can face a variety of visual conditions required by real-world environments. We propose a challenging benchmark that tests agents' visual generalization by adding graphical variety to existing continuous control domains. Our empirical analysis shows that current methods struggle to generalize across a diverse set of visual changes, and we examine the specific factors of variation that make these tasks difficult. We find that data augmentation techniques outperform self-supervised learning approaches and that more significant image transformations provide better visual generalization \footnote{The benchmark and our augmented actor-critic implementation are open-sourced @ https://github.com/QData/dmc_remastered)

研究の動機と目的

• 現存する強化学習エージェントが、現実世界の環境に見られる多様な視覚的条件下で一般化できるかどうかを評価すること。
• 画像ベースの連続制御エージェントの一般化を妨げる具体的な視覚的変化を同定すること。
• 視覚ドメインシフト下での表現学習技術（特にデータ拡張と自己教師あり学習）の有効性をベンチマークすること。
• グラフィカルな多様性を追加したDeepMind Control Suiteを拡張し、再現可能でスケーラブルな視覚的一般化のベンチマークを提供すること。

提案手法

• DeepMind Control Suite（DMC）を拡張し、照明、カメラ位置、色、景観の変化を制御的に導入するようにグラフィカルアセットを変更する。
• 訓練中に存在しなかった未観測の視覚的条件下でエージェントを評価するゼロショット視覚的一般化ベンチマークを導入する。
• SACを用いて、さまざまな表現学習技術（DrQスタイルのランダムクロッピング：AUG、色のジャマリング：CJ、ネットワークランダマイゼーション：NR）を用いてエージェントを訓練する。
• 同じ状態の異なるレンダリング間でのエンコーダ表現の分散を測定することで視覚的一般化を評価し、分散が低いほど不変性が優れていると判断する。
• さまざまな視覚的摂動下（例：Cartpole、Ball in Cupなど）で複数の制御タスクにおけるパフォーマンスを比較する。
• 空間的アクティベーションマップと表現の標準偏差を用いて、モデルの注目領域とテクスチャ・背景の変化に対するロバストネスを分析する。

実験結果

リサーチクエスチョン

• RQ1 現在の画像ベースの強化学習エージェントは、照明、カメラアングル、背景景観の変化といった未観測の視覚的条件下で、どれほど一般化できるか？
• RQ2 データ拡張と自己教師あり学習のどちらの表現学習技術が、連続制御における視覚的一般化をより良くするか？
• RQ3 色のジャマリングやネットワークランダマイゼーションといった複雑な画像変換は、視覚ドメインシフトに対してどれほどロバストネスを向上させるか？
• RQ4 具体的な視覚的要因（例：テクスチャ、色、背景）の中で、エージェントのパフォーマンスと表現の一貫性を最も損なうものは何か？
• RQ5 制御されたグラフィカルな変化を持つベンチマークは、RLにおける現実世界の視覚的一般化を評価する信頼できるプロキシとして機能できるか？

主な発見

• 特に色の変更を伴う変換（例：CJ、NR）を用いたデータ拡張技術が、多様な視覚的条件下で自己教師あり学習手法を顕著に上回る視覚的一般化を達成する。
• CJ や NR を用いて訓練されたエージェントは、同じ状態の異なるレンダリング間で表現の分散が低く抑えられ、不変性が向上していることが示された。
• 強力なデータ拡張でさえも、床のテクスチャや景観の変化に対して一般化に苦労しており、視覚的干渉要因への感受性が依然として強いことが示された。
• ネットワークランダマイゼーションや色のジャマリングを用いることで、エンコーダ出力の標準偏差が顕著に低減され、より一貫した状態表現が得られることを示した。
• DMCRベンチマークは視覚的一般化を的確に分離・測定できており、現在の手法が高視覚的多様性下での現実世界への展開には不十分であることが明らかになった。
• 空間的アクティベーションマップの分析から、CJ や NR を用いて訓練されたエージェントは床のテクスチャ変化にあまり引き立てられず、より優れた知覚的ロバストネスを示していることが確認された。