[논문 리뷰] Explainable Deep Reinforcement Learning for UAV Autonomous Navigation

Lei He, Nabil Aouf외 1명|arXiv (Cornell University)|2020. 09. 30.

Explainable Artificial Intelligence (XAI)참고 문헌 28인용 수 10

한 줄 요약

이 논문은 설명 가능한 인공지능 기법을 활용하여 의사결정 과정을 해석할 수 있는 딥 강화학습(DRL) 기반의 반응형 컨트롤러를 제안한다. 이 방법은 실시간 60Hz 제어 성능을 달성하며, 시각적 및 텍스트 기반 설명을 제공하여 비전문가 및 설계자들이 모델의 행동을 이해하고 향상시킬 수 있다.

ABSTRACT

Autonomous navigation in unknown complex environment is still a hard problem, especially for small Unmanned Aerial Vehicles (UAVs) with limited computation resources. In this paper, a neural network-based reactive controller is proposed for a quadrotor to fly autonomously in unknown outdoor environment. The navigation controller makes use of only current sensor data to generate the control signal without any optimization or configuration space searching, which reduces both memory and computation requirement. The navigation problem is modelled as a Markov Decision Process (MDP) and solved using deep reinforcement learning (DRL) method. Specifically, to get better understanding of the trained network, some model explanation methods are proposed. Based on the feature attribution, each decision making result during flight is explained using both visual and texture explanation. Moreover, some global analysis are also provided for experts to evaluate and improve the trained neural network. The simulation results illustrated the proposed method can make useful and reasonable explanation for the trained model, which is beneficial for both non-expert users and controller designer. Finally, the real world tests shown the proposed controller can navigate the quadrotor to goal position successfully and the reactive controller performs much faster than some conventional approach under the same computation resource.

연구 동기 및 목표

• 제한된 계산 자원을 가진 복잡한 외부 환경에서의 자율 UAV 항법 문제를 해결한다.
• UAV 제어에서 딥 강화학습 모델의 투명성 부족 문제를 해결하기 위해 설명 가능성 기법을 도입한다.
• 지도 유지 및 최적화 오버헤드 없이 현재 센서 데이터만을 사용하는 반응형 제어 정책을 개발한다.
• 비전문가 사용자 및 컨트롤러 설계자가 시각적 및 텍스트 기반 설명을 통해 DRL 정책을 이해하고 향상시킬 수 있도록 한다.
• 제안된 DRL 기반 컨트롤러의 실제 적용 가능성과 계산 효율성을 입증한다.

제안 방법

• UAV 장애물 회피 문제를 마르코프 결정 과정(MDP)으로 수식화하고, TD3 알고리즘을 사용한 딥 강화학습(DRL)으로 해결한다.
• 지도나 궤적 최적화 없이 현재 센서 입력에서 직접 제어 명령어를 생성하는 반응형 컨트롤러를 구현한다.
• CNN 인식에 대한 시각적 설명을 위해 클래스 활성화 맵(CAM)과 SHAP 값의 조합을 활용한 새로운 샐런시 맵 생성 방법을 도입한다.
• 기능 기여도를 활용해 각 제어 결정에 대한 텍스트 기반 설명을 생성한다. 예: '오른쪽에 장애물이 있어 오른쪽으로 회전함'.
• 시뮬레이션에서의 도메인 갭을 줄이기 위해 나무 장애물을 포함한 커스터마이징된 Gazebo 시뮬레이터에서 DRL 모델을 재학습시킨다.
• 학습된 정책을 직접 PX4 SITL 환경에서 실제 큐브로터에 배포하여 60Hz에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 딥 강화학습은 어떻게 제한된 계산 자원을 가진 미지의 환경에서 최소한의 계산 오버헤드로 실시간 반응형 UAV 항법을 가능하게 할 수 있는가?
• RQ2 기능 기여도와 샐런시 맵은 DRL 기반 UAV 제어 결정에 대해 얼마나 의미 있고 해석 가능한 설명을 제공할 수 있는가?
• RQ3 시각적 및 텍스트 기반 설명은 UAV 응용 분야에서 비전문가 사용자가 DRL 컨트롤러에 대한 신뢰도와 사용성을 향상시키는 데 기여하는가?
• RQ4 동일한 하드웨어 제약 조건 하에서, DRL 기반 반응형 컨트롤러의 성능은 전통적인 최적화 기반 플래너와 비교해 어떻게 되는가?
• RQ5 DRL 정책을 시뮬레이션에서 실제 UAV 비행으로 이행할 때 주요 과제는 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• DRL 기반 반응형 컨트롤러는 20,000개의 학습 타임스텝 이후 나무 장애물이 있는 시뮬레이션 환경에서 큐브로터의 항로를 통과하는 데 75%의 성공률를 달성했다.
• 실제 비행에서 컨트롤러는 60Hz로 작동했으며, 동일한 하드웨어에서 10Hz로만 작동하는 기존의 3DVFH+ 플래너보다 뚜렷한 성능 향상을 보였다.
• 하이브리드 CAM-SHAP 방법을 통해 생성된 시각적 설명은 제어 결정에 영향을 주는 영역(예: 장애물)을 효과적으로 강조했다.
• 기능 기여도 기반 텍스트 기반 설명은 각 행동의 근거를 성공적으로 기술했으며, 예를 들어 '앞왼쪽에 장애물 감지됨으로 인해 왼쪽으로 조향함'과 같은 설명을 제공했다.
• 시뮬레이션에서는 원활한 동작을 보였지만, 실제 테스트에서는 출력 진동이 발생하여 시뮬레이션과 실제 동역학 또는 센서 입력 간의 도메인 갭이 존재함을 시사했다.
• 모델의 설명 가능성 프레임워크는 비전문가 및 설계자가 정책의 문제점을 이해하고 식별하는 데 기여하여 향후 정밀 조정을 지원했다.