[논문 리뷰] Reinforcement Learning-Based Coverage Path Planning with Implicit Cellular Decomposition

Javad Heydari, Olimpiya Saha외 1명|arXiv (Cornell University)|2021. 10. 18.

Robotic Path Planning Algorithms참고 문헌 52인용 수 7

한 줄 요약

이 논문은 미지의 환경에서 커버리지 경로 계획을 확률적 최적 정지 문제로 공식화하고, 암묵적 세포 구조 분해를 활용한 딥 강화학습(DRL)을 통해 효율적이고 겹침이 적은 커버리지 성능을 달성한다. 제안된 하이브리드 RL 접근법은 커버리지 효율성과 겹침 감소 측면에서 BA*와 같은 최신 기법들을 능가하며, 수렴 속도가 2배 빠르고 다양한 환경에서 뛰어난 견고성을 보인다.

ABSTRACT

Coverage path planning in a generic known environment is shown to be NP-hard. When the environment is unknown, it becomes more challenging as the robot is required to rely on its online map information built during coverage for planning its path. A significant research effort focuses on designing heuristic or approximate algorithms that achieve reasonable performance. Such algorithms have sub-optimal performance in terms of covering the area or the cost of coverage, e.g., coverage time or energy consumption. In this paper, we provide a systematic analysis of the coverage problem and formulate it as an optimal stopping time problem, where the trade-off between coverage performance and its cost is explicitly accounted for. Next, we demonstrate that reinforcement learning (RL) techniques can be leveraged to solve the problem computationally. To this end, we provide some technical and practical considerations to facilitate the application of the RL algorithms and improve the efficiency of the solutions. Finally, through experiments in grid world environments and Gazebo simulator, we show that reinforcement learning-based algorithms efficiently cover realistic unknown indoor environments, and outperform the current state of the art.

연구 동기 및 목표

• 완전한 기하학적 지식이 확보되지 않은 미지의 실내 환경에서의 커버리지 경로 계획 문제를 해결하기 위해.
• 실시간 로봇 응용 프로그램에서 영역 커버리지 최대화와 함께 경로 겹침과 에너지 소비를 최소화하기 위해.
• 반복 가능한 환경에 적응하고 센서 노이즈 및 이동 불확실성을 학습할 수 있는 강화학습 프레임워크를 개발하기 위해.
• 보상 형태 조정, 상태 표현 설계, 하이브리드 탐색 전략을 통해 샘플 효율성과 일반화 능력을 향상시키기 위해.

제안 방법

• 커버리지 성능와 비용 간의 균형을 고려해 커버리지 경로 계획을 확률적 최적 정지 문제로 공식화한다.
• 로봇의 센서 관측 기록과 지ap 업데이트 이력을 압축적이고 메모리 효율적인 방식으로 표현하는 상태 표현을 설계한다.
• 커버리지 진행도와 겹침 페널티를 기반으로 한 보상 함수를 구성하고, 학습 속도를 향상시키기 위해 보상 형태 조정을 적용한다.
• 안정적인 훈련을 위해 우선순위 경험 재현(DQN+PER)과 근접 정책 최적화(PPO)를 활용한 딥 Q네트워크를 적용한다.
• 고정된 진자형 운동 정책과 학습된 DRL 에이전트를 조합한 하이브리드 RL 접근법을 도입하여 행동 공간을 축소하고 수렴 속도를 향상시킨다.
• 초기화 매개변수 민감도 분석을 통해 성능에 영향을 미치는 핵심 매개변수(예: 배치 크기, 학습률, 메모리 크기)를 규명한다.

실험 결과

연구 질문

• RQ1 부분 관측 가능성과 센서 노이즈가 존재하는 미지 환경에서 강화학습이 커버리지 경로 계획에 효과적으로 적용될 수 있는가?
• RQ2 제안된 상태 표현과 보상 함수 설계가 학습 효율성과 커버리지 성능에 미치는 영향은 무엇인가?
• RQ3 히우리스틱 운동 정책(진자형)과 학습된 RL 정책을 조합함으로써 수렴 속도와 일반화 능력에 어떤 영향을 미치는가?
• RQ4 순수하게 학습된 또는 히우리스틱 기반 방법과 비교해 RL 에이전트가 미리 보지 않은 환경에 어떻게 일반화되는가?
• RQ5 DRL 기반 커버리지 정책의 성능과 견고성에 가장 크게 영향을 미치는 초기화 매개변수는 무엇인가?

주요 결과

• 하이브리드 RL 에이전트는 세 가지 시뮬레이션 환경에서 평균 90.59%의 커버리지 성능를 기록했으며, BA* 수준의 성능를 달성하면서 겹침을 50% 이상 감소시켰다.
• 하이브리드 접근법은 평균 겹침률을 14.38–21.48%로 낮추었고, 표준 DQN+PER의 32.69–33.25%와 BA*의 80.61–91.70%에 비해 뚜렷한 개선을 보였다.
• 하이브리드 RL 에이전트는 고정된 진자형 운동으로 행동 공간이 제한되어 수렴 속도가 표준 DQN+PER보다 2개의 지수 차수 빠르게 수렴했다.
• 특히 배치 크기, PPO 에포크 수, PER 매개변수 등 다양한 초깃값에 대해 뛰어난 견고성을 보였다.
• 보상 형태 조정과 할인 요소 사용이 훈련 안정성 향상과 기울기 분산 감소에 크게 기여했다.
• 상태 표현은 과거 지도 정보를 효과적으로 포착하여, 전체 지도 재구성 없이도 정보 기반 의사결정을 가능하게 했다.