[論文レビュー] Analysing Deep Reinforcement Learning Agents Trained with Domain Randomisation

Tianhong Dai, Kai Arulkumaran+4 more|arXiv (Cornell University)|Dec 18, 2019

Reinforcement Learning in Robotics被引用数 7

ひとこと要約

本論文は、シミュレーションでドメインランダム化（DR）を用いて訓練された深層強化学習エージェントについて、一般化性能、内部表現、解釈可能性を非DRエージェントと比較して調査する。DRは、構造的な畳み込みフィルタと強い再帰的処理依存を示す、より頑健で混合された視覚的表現を促進するが、過学習と高いサンプル複雑性を引き起こす可能性があるため、信頼できる分析には複数の解釈手法の組み合わせが不可欠である。

ABSTRACT

Deep reinforcement learning has the potential to train robots to perform complex tasks in the real world without requiring accurate models of the robot or its environment. A practical approach is to train agents in simulation, and then transfer them to the real world. One popular method for achieving transferability is to use domain randomisation, which involves randomly perturbing various aspects of a simulated environment in order to make trained agents robust to the reality gap. However, less work has gone into understanding such agents - which are deployed in the real world - beyond task performance. In this work we examine such agents, through qualitative and quantitative comparisons between agents trained with and without visual domain randomisation. We train agents for Fetch and Jaco robots on a visuomotor control task and evaluate how well they generalise using different testing conditions. Finally, we investigate the internals of the trained agents by using a suite of interpretability techniques. Our results show that the primary outcome of domain randomisation is more robust, entangled representations, accompanied with larger weights with greater spatial structure; moreover, the types of changes are heavily influenced by the task setup and presence of additional proprioceptive inputs. Additionally, we demonstrate that our domain randomised agents require higher sample complexity, can overfit and more heavily rely on recurrent processing. Furthermore, even with an improved saliency method introduced in this work, we show that qualitative studies may not always correspond with quantitative measures, necessitating the combination of inspection tools in order to provide sufficient insights into the behaviour of trained agents.

研究の動機と目的

• ドメインランダム化（DR）が、シミュレーションで訓練された深層強化学習エージェントの一般化性能および内部表現に与える影響を理解すること。
• DRがサンプル効率、視覚的および環境的摂動に対する頑健性、再帰的処理への依存度に与える影響を評価すること。
• 解釈手法（特に複数の手法を組み合わせた場合）の有効性を、DRで訓練されたエージェントの分析に評価すること。
• DRによってネットワーク内部に生じる変化が、一般化性能の向上や過学習などの意図しない行動と相関するかどうかを調査すること。
• DRを用いずに模倣可能な、DRエージェントの主要な構造的および表現的特性を特定することで、シミュレーションから実世界への転送を支援すること。

提案手法

• PPOを用いて、FetchおよびJacoのロボット操作タスクで、視覚的ドメインランダム化（DR）を有無にかかわらず複数の設定（本体感覚入力の有無を含む）でDRLエージェントを訓練した。
• ユニットテストを通じて一般化性能を評価し、ランダムな照明やテクスチャ、ドメインシフト（DRから標準的なシミュレーションの視覚）を含む視覚的摂動を検証した。
• 解釈手法を適用：セマンティックマッピング（新規に改善された手法を含む）、ユニットアブレーション、活性化最大化、フィルタノルム分析、表現の混合度測定。
• DRによる特徴検出器の構造的変化を定量化するために、畳み込みフィルタのℓ₁-ノルム分析を用いた。
• 異なる視覚条件下での表現の不変性をエンタングルメントスコアを用いて測定した。
• LSTMの再帰層および最終ポリシー層に対するアブレーションスタディを実施し、モジュラリティと再初期化に対する耐性を評価した。

実験結果

リサーチクエスチョン

• RQ1 ドメインランダム化は、視覚的および環境的摂動下でのDRLエージェントの一般化性能にどのように影響するか？
• RQ2 ドメインランダム化により、特に畳み込みフィルタと隠れ表現において、DRLエージェントの内部構造的および表現的変化はどのように生じるか？
• RQ3 DRエージェントはどの程度再帰的処理に依存しているか？非DRエージェントと比較してどうか？
• RQ4 セマンティックマッピング、アブレーション、活性化最大化といった解釈手法は、DRエージェントの行動に一貫性があり信頼できる洞察を提供できるか？
• RQ5 ドメインランダム化は、特定の設定で過学習を引き起こすか？本体感覚入力の有無がその影響に与える影響は？

主な発見

• DRで訓練されたエージェントは、視覚的摂動や干渉要因を含む多様なテスト条件下で、非DRエージェントと比較して顕著に高い一般化性能を示した。
• DRは、より構造的で空間的に整列した畳み込みフィルタを生み出し、高いℓ₁-ノルムを示すことで、より複雑で頑健な特徴検出器を示した。
• 表現の混合度分析により、DRエージェントは視覚的変化に対してより不変でタスク固有の特徴を学習しており、異なる視覚条件下での埋め込みの重なりが高かったことが判明した。
• 予想に反し、フィルタのアブレーション下でもDRエージェントの性能変動は減少せず、むしろベースライン性能が優れていたため、フィルタ変更に対する感受性が低下しているのではなく、より頑健であることが示された。
• DRエージェントは、再帰状態をアブレーションした際の顕著な性能低下により、強い再帰的処理（LSTM）への依存を示しており、非DRエージェントはほとんど影響を受けなかった。
• 驚くべき過学習の事例として、本体感覚入力なしにDRで訓練されたJacoエージェントでは、標準的（非DR）な視覚条件下で性能が悪化した。これは、低感覚入力環境下でDRが分布的過学習を引き起こす可能性があることを示唆している。