[論文レビュー] Learning End-to-end Multimodal Sensor Policies for Autonomous Navigation

Guan-Horng Liu, Avinash Siravuru+3 more|arXiv (Cornell University)|May 30, 2017

Reinforcement Learning in Robotics参考文献 30被引用数 35

ひとこと要約

本論文では、部分的センサ障害に対する耐性を高めるために、深層強化学習におけるエンドツーエンドのマルチモーダルセンサ制御方策を訓練するための新しい確率的正則化手法であるSensor Dropoutを提案する。Sensor Dropoutと補助損失を組み合わせることで、方策の分散を低減し、有効なセンサ統合を可能にし、ノイズ環境下でもベースラインと比較して性能低下を10%にまで抑える。これは、キーセンサが故障した場合でも同様に有効である。

ABSTRACT

Multisensory polices are known to enhance both state estimation and target tracking. However, in the space of end-to-end sensorimotor control, this multi-sensor outlook has received limited attention. Moreover, systematic ways to make policies robust to partial sensor failure are not well explored. In this work, we propose a specific customization of Dropout, called extit{Sensor Dropout}, to improve multisensory policy robustness and handle partial failure in the sensor-set. We also introduce an additional auxiliary loss on the policy network in order to reduce variance in the band of potential multi- and uni-sensory policies to reduce jerks during policy switching triggered by an abrupt sensor failure or deactivation/activation. Finally, through the visualization of gradients, we show that the learned policies are conditioned on the same latent states representation despite having diverse observations spaces - a hallmark of true sensor-fusion. Simulation results of the multisensory policy, as visualized in TORCS racing game, can be seen here: https://youtu.be/QAK2lcXjNZc.

研究の動機と目的

• 自律走行のためのエンドツーエンドのマルチモーダルセンサ方策におけるシステマティックな耐障害性の欠如に対処すること。
• 特に部分的センサ障害下において特定のセンササブセットへの過剰依存を低減すること。
• 急激なセンサの無効化または再有効化時における方策の一般化性能と分散の低減を図ること。
• 異種センサ間で共有される潜在表現を学習することで、真のセンサ統合を実現すること。
• 事前学習や2段階学習を必要とせず、異種センサモダリティを統合できる統一的でエンドツーエンドの訓練フレームワークを提供すること。

提案手法

• 訓練中にセンサ入力をランダムにマスクする、特定の確率的正則化手法であるSensor Dropoutを提案し、方策が特定のセンサに依存しなくなるようにする。
• 異なるセンサモダリティから導出されたサブポリシー間の不一致をペナルティ化する補助損失を導入し、方策の一貫性を高め、行動分散を低減する。
• 物理ベースのTORCS環境で、NAFおよびDDPGアルゴリズムを用いて、物理状態、レーザー、画像のマルチモーダル入力を用いた深層強化学習方策を訓練する。
• 勾配可視化を用いて方策の注目度を分析し、運動方向に対して垂直なレーザービームや画像入力における道路境界などの顕著な特徴を同定する。
• 潜在空間解析を用いて、方策が多様なセンサ入力間で共有された統一された表現を学習していることを確認し、真のセンサ統合を示す。
• 事前学習を一切行わず、マルチモーダル観測から制御行動への直接マッピングを可能にするエンドツーエンドの適用を実施する。

実験結果

リサーチクエスチョン

• RQ1 Sensor Dropoutを用いて訓練された深層強化学習方策は、部分的センサ障害下でも高い性能を維持できるか？
• RQ2 提案された補助損失は、急激なセンサ喪失または再活性化時における方策行動の分散をどのように低減するか？
• RQ3 Sensor Dropoutは、異種センサ間で共有される潜在表現によって示されるように、どの程度真のセンサ統合を促進するか？
• RQ4 ノイズ混じりまたは劣化したセンサ環境下において、Sensor Dropoutを用いたマルチセンサ方策は、ベースラインの単一センサまたはナーブなマルチモーダル方策と比較してどのように性能を発揮するか？
• RQ5 学習済み方策はどの特徴に注目しているのか？また、Sensor Dropoutを用いて訓練された方策とそうでない方策では、その注目特徴にどのような差が生じるか？

主な発見

• Sensor Dropoutを用いたマルチセンサDRL方策は、ノイズ環境下でベースラインと比較して性能低下を約50%からわずか10%にまで低減した。
• Sensor Dropoutを用いて訓練された方策は、レーザーセンサと画像センサの両方が遮断された状態でも機能を維持でき、キーセンサモダリティの完全障害に対しても耐性を示した。
• 補助損失により行動分散が顕著に低減し、急激なセンサ障害や再活性化時における方策の滑らかさが向上した。
• 勾配可視化の結果、Sensor Dropoutを用いて訓練された方策は、運動方向に対して垂直なレーザービームや道路境界といった顕著な特徴に注目していることが示され、特徴選択の向上が裏付けられた。
• 潜在空間解析により、方策が異種センサ間で共有された表現を学習していることが確認され、単なる入力の連結ではなく真のセンサ統合が実現していることが示された。
• Sensor Dropoutを用いて訓練された方策は、標準的なDropoutやナーブなマルチモーダル学習と比較して、サブポリシー間での一般化性能が高く、分布がより集中的かつ明確に分離されていることが分かった。