[論文レビュー] Danger-aware Weighted Advantage Composition of Deep Reinforcement Learning for Robot Navigation.

Wěi Zhāng, Yunfeng Zhang+1 more|arXiv (Cornell University)|Sep 11, 2018

Robotic Path Planning Algorithms被引用数 5

ひとこと要約

本論文は、再訓練を伴わずに、目的到達用と障害物回避用の2つの独立したディープQネットワーク（DQN）を統合するための危険度に配慮したアドバンテージ合成手法を提案する。環境の危険度に応じてアドバンテージを動的に重み付けすることで、複雑で未知の環境においてより速く、より安全にナビゲーションを実現し、壁の向こうにいる目的を達成するような困難なシナリオでも頑健な性能を発揮する。

ABSTRACT

Self-navigation, referring to automatically reaching the goal while avoiding collision with obstacles, is a fundamental skill of mobile robots. Currently, Deep Reinforcement Learning (DRL) can enable the robot to navigate in a more complex environment with less computation power compared to conventional methods. However, it is time-consuming and hard to train the robot to learn goal-reaching and obstacle-avoidance skills simultaneously using DRL-based algorithms. In this paper, two Dueling Deep Q Networks (DQN) named Goal Network and Avoidance Network are used to learn the goal-reaching and obstacle-avoidance skills individually. A novel method named danger-aware advantage composition is proposed to fuse the two networks together without any redesigning and retraining. The composed Navigation Network can enable the robot to reach the goal right behind the wall and to navigate in unknown complexed environment safely and quickly.

研究の動機と目的

• 複雑な環境において、深層強化学習（DRL）を用いて移動ロボットが同時に目的到達と障害物回避を学習する課題に対処すること。
• 目的到達と障害物回避を分離することで、2つの特化したデュアルDQNネットワークに分けることにより、学習時間と複雑さを低減すること。
• 再訓練を伴わずに2つのネットワークを統合する統合メカニズムを開発し、リアルタイムで適応可能なナビゲーションを可能にすること。
• 壁に遮蔽された状況を含む、未知でごみだらけの環境でも安全性と効率性を向上させること。

提案手法

• 目的到達用（目的ネットワーク）と障害物回避用（回避ネットワーク）の2つの独立したデュアルディープQネットワーク（DQN）を訓練する。
• 危険度に配慮したアドバンテージ合成メカニズムが、局所的な危険度に基づいて両ネットワークのQ値アドバンテージの重み付き和を計算する。
• 障害物への近接度などのセンサ入力から危険度を推定し、行動選択時に各ネットワークの影響を動的に調整する。
• 再訓練を避けるために、元のネットワークのポリシーを保持し、学習済みまたはヒューリスティックな重み付けによって出力を統合する。
• 統合ナビゲーションネットワークは、融合されたアドバンテージを用いて、目的進捗と安全性の両立を図る行動を選択する。
• 本手法はモジュール型であり、既存のDRLフレームワークと互換性があり、即座に統合可能なプラグアンドプレイ設計である。

実験結果

リサーチクエスチョン

• RQ1 目的到達と障害物回避を、分離されたDQNネットワークを用いて独立して学習させることで、学習の複雑さを低減できるか？
• RQ2 再訓練を伴わず、2つの事前学習済みDQNポリシーを効果的に統合する方法は何か？ その際、性能と安全性を維持できるか？
• RQ3 動的な危険度評価は、複雑で未知の環境におけるナビゲーションの頑健性を向上させる役割を果たすか？
• RQ4 提案手法により、壁の向こうにいる目的を達成するような困難なシナリオでのナビゲーションが可能になるか？
• RQ5 固定またはヒューリスティックな統合戦略と比較して、危険度に配慮した重み付けメカニズムは、安全性と収束速度の面で優れているか？

主な発見

• 提案手法により、壁の向こうに位置する目的にロボットが成功裏に到達できることが確認された。これは、標準的なDRL手法が困難とするシナリオである。
• 危険度に配慮した統合メカニズムにより、危険度の高い領域では障害物回避が優先され、ナビゲーションの安全性が向上した。
• 目的到達と障害物回避の学習を分離することで、学習時間と複雑さが著しく削減された。
• 統合ナビゲーションネットワークは、エンドツーエンドのDRLベースラインと比較して、未知で複雑な環境でも収束が速く、より安定した性能を示した。
• アーキテクチャの再設計や再学習を必要とせず、動的でごみだらけの環境でも頑健な性能を発揮した。
• 融合メカニズムは、リアルタイムの危険度評価に基づいて各ネットワークの影響を調整することで、探索と活用のバランスを効果的に制御した。