[논문 리뷰] AI based Algorithms of Path Planning, Navigation and Control for Mobile Ground Robots and UAVs

Jian Zhang|arXiv (Cornell University)|2021. 10. 03.

Robotic Path Planning Algorithms참고 문헌 265인용 수 5

한 줄 요약

이 논문은 정적 및 동적 환경에서 충돌 없는 최적 경로 탐색을 가능하게 하는 하이브리드 AI 기반 경로 계획 및 주행 프레임워크를 제안한다. 반응형 주행과 Q-학습을 통합하여 실시간으로 효율적인 경로 계획과 견고한 장애물 회피를 실현한다. 시뮬레이션된 2차원 및 3차원 환경에서 강화 학습을 통해 실시간으로 안정적인 경로 계획 성능을 확보하였으며, 기준 방법 대비 뛰어난 성능을 입증하였다.

ABSTRACT

As the demands of autonomous mobile robots are increasing in recent years, the requirement of the path planning/navigation algorithm should not be content with the ability to reach the target without any collisions, but also should try to achieve possible optimal or suboptimal path from the initial position to the target according to the robot's constrains in practice. This report investigates path planning and control strategies for mobile robots with machine learning techniques, including ground mobile robots and flying UAVs. In this report, the hybrid reactive collision-free navigation problem under an unknown static environment is investigated firstly. By combining both the reactive navigation and Q-learning method, we intend to keep the good characteristics of reactive navigation algorithm and Q-learning and overcome the shortcomings of only relying on one of them. The proposed method is then extended into 3D environments. The performance of the mentioned strategies are verified by extensive computer simulations, and good results are obtained. Furthermore, the more challenging dynamic environment situation is taken into our consideration. We tackled this problem by developing a new path planning method that utilizes the integrated environment representation and reinforcement learning. Our novel approach enables to find the optimal path to the target efficiently and avoid collisions in a cluttered environment with steady and moving obstacles. The performance of these methods is compared with other different aspects.

연구 동기 및 목표

• 단독으로 사용할 경우 반응형 주행 및 Q-학습의 한계를 해결하기 위해.
• 반응형 주행의 실시간 반응성과 Q-학습의 장기적 최적화를 결합한 하이브리드 알고리즘을 개발하기 위해.
• UAV를 위한 3차원 환경과 복잡한 장애물 시나리오로 이 방법을 확장하기 위해.
• 정지 및 이동하는 장애물이 모두 존재하는 동적 환경에서 효율적인 경로 계획을 가능하게 하기 위해.
• 다양한 환경 조건에서의 광범위한 시뮬레이션을 통해 접근 방식을 검증하기 위해.

제안 방법

• 반응형 주행을 통한 즉각적인 장애물 회피와 Q-학습을 통한 장기적 경로 최적화를 결합한 하이브리드 아키텍처를 구현한다.
• Q-학습 구성 요소는 시뮬레이션 환경에서 학습되어 주행을 위한 최적의 상태-행동 값들을 습득한다.
• 환경 표현을 강화 학습과 통합하여 정적 및 동적 장애물을 모두 모델링한다.
• Q-학습 입력을 위해 상태공간 이산화를 통해 로봇 위치, 목표 위치 및 장애물 위치를 표현한다.
• 상태공간과 행동공간을 고도 및 방향성으로 확장하여 3차원으로 확장한다.
• 장애물 밀도 및 동역학 변화가 다양한 조건에서의 성능 평가를 위해 광범위한 컴퓨터 시뮬레이션을 실시한다.

실험 결과

연구 질문

• RQ1 무엇보다도, 반응형 주행과 Q-학습을 효과적으로 융합하여 미지의 정적 환경에서의 경로 계획을 향상시킬 수 있는가?
• RQ2 경로 최적성 및 충돌 회피 측면에서 순수 반응형 또는 Q-학습 전용 방법 대비 하이브리드 방법의 성능 향상은 어떠한가?
• RQ3 UAV를 위한 3차원 환경으로 확장할 경우 실시간 성능를 유지할 수 있는가?
• RQ4 기존의 강화 학습 기반 계획자들과 비교해 복잡한 환경에서의 이동 장애물 처리 능력은 어떠한가?
• RQ5 시뮬레이션에서 수렴성과 강건성에 영향을 미치는 주요 설계 요소는 무엇인가?

주요 결과

• 하이브리드 방법은 순수 반응형 방법 대비 상당히 향상된 경로 최적성으로 미지의 정적 환경에서 충돌 없는 주행을 달성한다.
• 3차원 시뮬레이션에서, UAV의 최적 경로 계획이 정적 및 동적 장애물 모두를 회피하면서 성공적으로 수행되었다.
• 환경 표현과 강화 학습의 통합은 변화하는 장애물 구성에 효율적으로 대응할 수 있도록 한다.
• 다양한 시뮬레이션 시나리오에서 경로 길이 및 성공률 측면에서 기준 Q-학습 및 반응형 방법보다 뛰어난 성능을 보였다.
• 이동 장애물이 존재하는 복잡하고 혼잡한 환경에서도 안정적인 수렴성과 실시간 성능을 입증하였다.