[論文レビュー] Normalization Enhances Generalization in Visual Reinforcement Learning

Lu Li, Jiafei Lyu+5 more|arXiv (Cornell University)|Jun 1, 2023

Tactile and Sensory InteractionsNeuroscience被引用数 3

ひとこと要約

この論文では、ドメイン外データやタスク固有の変更を必要とせず、視覚強化学習における一般化性能を向上させる、プラグアンドプレイ式の正規化モジュールであるCrossNormとSelfNormの組み合わせを提案する。DrQ-v2に統合した場合、予期しない天候条件下でも、訓練時の性能の97%まで向上する。

ABSTRACT

Recent advances in visual reinforcement learning (RL) have led to impressive success in handling complex tasks. However, these methods have demonstrated limited generalization capability to visual disturbances, which poses a significant challenge for their real-world application and adaptability. Though normalization techniques have demonstrated huge success in supervised and unsupervised learning, their applications in visual RL are still scarce. In this paper, we explore the potential benefits of integrating normalization into visual RL methods with respect to generalization performance. We find that, perhaps surprisingly, incorporating suitable normalization techniques is sufficient to enhance the generalization capabilities, without any additional special design. We utilize the combination of two normalization techniques, CrossNorm and SelfNorm, for generalizable visual RL. Extensive experiments are conducted on DMControl Generalization Benchmark and CARLA to validate the effectiveness of our method. We show that our method significantly improves generalization capability while only marginally affecting sample efficiency. In particular, when integrated with DrQ-v2, our method enhances the test performance of DrQ-v2 on CARLA across various scenarios, from 14% of the training performance to 97%.

研究の動機と目的

• 色や背景の変化といった視覚的干渉要因に対して、視覚的強化学習エージェントの一般化性能が限られているという問題に取り組む。
• 教師あり学習で成功した正規化手法が、視覚的強化学習におけるゼロショット一般化を改善できるかどうかを調査する。
• 外部データ、事前学習モデル、ドメイン特化設計に依存しない自己完結型の方法を開発する。
• 提案された正規化モジュールの有効性と多様なベンチマークおよび基本アルゴリズムとの互換性を実証する。

提案手法

• 視覚的強化学習エージェントのエンコーダーにCrossNormとSelfNormを統合し、分布シフト下での表現学習の安定化と向上を図る。
• バッチ内の観測データの特徴を正規化することで、視覚的変動に対する耐性を高めるためにCrossNormを用いる。
• 各個々の観測内での特徴を正規化することで、局所的不変性と特徴の一貫性を向上させるためにSelfNormを適用する。
• 両正規化手法を統合したプラグアンドプレイモジュールを構築し、任意の視覚的強化学習アルゴリズムにスムーズに統合可能にする。
• 特に複雑な環境において一般化性能を向上させるために、CrossNormのバッチ統計計算時にランダムクロッピングを活用する。
• SVEAのような既存の一般化技術とも互換性を持たせ、相乗効果を生むようにする。

実験結果

リサーチクエスチョン

• RQ1 CrossNorm や SelfNorm といった正規化手法は、ドメイン外データや事前学習モデルに依存せずに、視覚的強化学習における一般化性能を向上させることができるか？
• RQ2 CrossNorm と SelfNorm の組み合わせは、それぞれ単独で使用する場合と比べて、視覚的強化学習においてどのように性能を発揮するか？
• RQ3 CrossNorm のバッチ統計計算にランダムクロッピングを組み込むことで、視覚的強化学習における一般化性能が向上するか？
• RQ4 提案された正規化モジュールは、SVEA などの既存の一般化アルゴリズムと効果的に組み合わせられるか？
• RQ5 提案手法は、CARLA などの実世界シミュレータにおいて、ゼロショット一般化をどの程度向上させるか？

主な発見

• 提案されたCrossNormとSelfNorm（CNSN）モジュールは、視覚的強化学習における一般化性能を顕著に向上させ、DrQ-v2と組み合わせた場合、CARLAにおけるテスト性能を訓練時の14%から97%まで向上させる。
• アブレーションスタディの結果、CrossNormにおけるランダムクロッピングの削除により、平均で最大30%の性能低下が確認され、その重要性が裏付けられた。
• 単独でCrossNormを使用した場合、一部のタスクではCNSNモジュールと同等の結果を達成するが、組み合わせの方が常に優れており、特に複雑な環境下で顕著な優位性を示す。
• SelfNorm単体では、安定した統計に過剰に適合することで性能が低下するが、CrossNormと組み合わせることで有効に機能するようになる。
• CNSNモジュールは、DrQ や SVEA といった他のアルゴリズムの一般化性能を向上させ、既存手法との互換性と相乗効果を示している。
• 本手法は、一般化性能の顕著な向上を実現しながらも、高いサンプル効率を維持しており、サンプル効率と耐性の間の妥協が最小限であることが示された。