[논문 리뷰] Danger-aware Weighted Advantage Composition of Deep Reinforcement Learning for Robot Navigation.

Wěi Zhāng, Yunfeng Zhang외 1명|arXiv (Cornell University)|2018. 09. 11.

Robotic Path Planning Algorithms인용 수 5

한 줄 요약

이 논문은 재학습 없이 목표 도달과 장애물 회피를 위한 두 개의 별도 딥 Q네트워크(Deep Q-Network)를 융합하여 통합된 주행 정책을 만드는 위험 인지 보상 조합 방법을 제안한다. 환경의 위험 수준에 따라 보상의 가중치를 동적으로 조정함으로써, 복잡하고 알려지지 않은 환경에서 더 빠르고 안전한 주행이 가능해지며, 벽 뒤에 있는 목표를 햖을 경우와 같은 도전적인 시나리오에서도 뛰어난 성능을 보인다.

ABSTRACT

Self-navigation, referring to automatically reaching the goal while avoiding collision with obstacles, is a fundamental skill of mobile robots. Currently, Deep Reinforcement Learning (DRL) can enable the robot to navigate in a more complex environment with less computation power compared to conventional methods. However, it is time-consuming and hard to train the robot to learn goal-reaching and obstacle-avoidance skills simultaneously using DRL-based algorithms. In this paper, two Dueling Deep Q Networks (DQN) named Goal Network and Avoidance Network are used to learn the goal-reaching and obstacle-avoidance skills individually. A novel method named danger-aware advantage composition is proposed to fuse the two networks together without any redesigning and retraining. The composed Navigation Network can enable the robot to reach the goal right behind the wall and to navigate in unknown complexed environment safely and quickly.

연구 동기 및 목표

• 딥 강화 학습을 사용하여 복잡한 환경에서 이동 로봇이 동시에 목표 도달과 장애물 회피를 학습할 수 있도록 하는 데에 도전한다.
• 목표 도달과 장애물 회피를 별도의 전문화된 듀얼링 DQN 네트워크로 분리함으로써 학습 시간과 복잡성을 줄인다.
• 재학습 없이도 두 네트워크를 융합할 수 있는 융합 메커니즘을 개발하여 실시간이고 적응 가능한 주행을 가능하게 한다.
• 벽에 의해 가려진 목표가 있는 등 알려지지 않은 혼잡한 환경에서도 안전성과 효율성을 향상시킨다.

제안 방법

• 목표 도달을 위한 네트워크(목표 네트워크)와 장애물 회피를 위한 네트워크(피하기 네트워크)로 구성된 두 개의 별도 듀얼링 딥 Q네트워크(DQN)를 훈련시킨다.
• 위험 인지 보상 조합 메커니즘은 지역적 위험 수준에 따라 두 네트워크의 Q값 보상의 가중합을 계산한다.
• 위험 수준은 거리 센서 입력과 같은 정보를 기반으로 추정되며, 행동 선택 시 각 네트워크의 영향력을 동적으로 조정한다.
• 재학습을 피하기 위해 원래의 네트워크 정책을 유지하고, 학습된 또는 히ュ리스틱한 가중치를 통해 출력을 융합한다.
• 융합된 주행 네트워크는 융합된 보상 정보를 사용하여 목표 진전과 안전성을 균형 잡는 행동을 선택한다.
• 이 방법은 모듈식이며 기존의 DRL 프레임워크와 호환되어 즉각 통합이 가능하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 목표 도달과 장애물 회피를 별도의 DQN 네트워크로 학습시켜 학습 복잡성을 줄일 수 있는가?
• RQ2 재학습 없이도 두 개의 사전 훈련된 DQN 정책을 효과적으로 융합하여 성능과 안전성을 유지할 수 있는가?
• RQ3 동적 위험 평가가 복잡하고 알려지지 않은 환경에서 주행의 안정성 향상에 어떤 역할을 하는가?
• RQ4 제안된 융합 방법을 통해 벽 뒤에 있는 목표를 향한 주행이 가능해지는가?
• RQ5 고정된 또는 히ュ리스틱한 융합 전략에 비해 위험 인지 가중치 메커니즘은 안전성과 수렴 속도 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 방법은 벽 뒤에 위치한 목표를 성공적으로 향할 수 있도록 하여, 기존의 표준 DRL 방법으로는 어려운 시나리오를 해결한다.
• 위험 인지 융합 메커니즘은 위험도가 높은 영역에서 장애물 회피를 우선시함으로써 주행의 안전성을 향상시킨다.
• 목표 도달과 장애물 회피 기술의 학습을 분리함으로써 학습 시간과 복잡성을 줄이는 데 성공한다.
• 융합된 주행 네트워크는 엔드 투 엔드 DRL 기준선 대비 알려지지 않은 복잡한 환경에서 더 빠른 수렴과 더 안정된 성능을 달성한다.
• 아키텍처 재설계나 재학습 없이도 동적이고 혼잡한 환경에서도 강건한 성능을 보인다.
• 실시간 위험 평가에 기반해 각 네트워크의 영향력을 조절함으로써 탐색과 이용의 균형을 효과적으로 유지한다.