[논문 리뷰] Obstacle Avoidance and Navigation Utilizing Reinforcement Learning with Reward Shaping

Daniel Zhang, Colleen P. Bailey|arXiv (Cornell University)|2020. 03. 28.

Reinforcement Learning in Robotics참고 문헌 13인용 수 4

한 줄 요약

이 논문은 무인 지상 차량(UGV)의 장애물 회피 및 주행을 위한 라플라스 기반 보상 형상화 기법을 활용한 향상된 딥 디터미니스틱 정책 기울기(DDPG) 및 프록시멀 정책 최적화(PPO) 알고리즘을 제안한다. 안정성 기반 항목을 활용한 보상 형상화로 수렴 속도를 가속화하고 성능을 향상시켜, 투틀봇 3 버거®를 사용한 가제보 시뮬레이션에서 평균 보상이 높고 수렴 속도가 빠른 성과를 보였다.

ABSTRACT

In this paper, we investigate the obstacle avoidance and navigation problem in the robotic control area. For solving such a problem, we propose revised Deep Deterministic Policy Gradient (DDPG) and Proximal Policy Optimization algorithms with an improved reward shaping technique. We compare the performances between the original DDPG and PPO with the revised version of both on simulations with a real mobile robot and demonstrate that the proposed algorithms achieve better results.

연구 동기 및 목표

• 무인 지상 차량(UGV)의 복잡한 실제 환경에서의 장애물 회피 및 주행 문제를 해결한다.
• 다양한 환경 간 일반화에 어려움을 겪는 전통적인 SLAM 기반 접근 방식의 한계를 극복한다.
• 모바일 로봇의 연속 제어 과제에 대한 강화학습(RL)에서 샘플 효율성과 수렴 속도를 향상시킨다.
• 라플라스 안정성에 기반한 보상 형상화 기법이 DDPG 및 PPO 성능 향상에 얼마나 효과적인지 실로봇 플랫폼에서 평가한다.

제안 방법

• 라플라스 안정성 이론에 기반한 보상 형상화 기법을 구현하며, 이는 $ R^{lyap}(s_{t+1},a_{t+1}) = R(s_t,a_t) + \eta(\gamma R(s_{t+1},a_{t+1}) - R(s_t,a_t)) $ 로 정의된다. 이는 정책 학습을 이끌어낸다.
• 비평가 업데이트에서 형상화된 보상을 사용하여 시간 차분(TD) 오차를 수정함으로써 DDPG에 보상 형상화를 통합한다.
• PPO의 이점 함수 추정기에서 형상화된 보상을 적용하여 $ \hat{A}_t $ 를 라플라스 기반 보상 신호를 포함하도록 조정한다.
• Gazebo-ROS-Turtlebot 3 Burger® 시뮬레이션 플랫폼을 사용하여 보상 형상화 유무에 따라 DDPG 및 PPO를 훈련하고 평가한다.
• 두 알고리즘 모두에 깊이 신경망을 사용하는 액터-크리틱 프레임워크를 적용하며, 학습률 0.0003, 배치 크기 32로 Adam 최적화기를 사용한다.
• 상태를 24개의 라이다 읽기 값을 포함하는 26차원 벡터로 표현하며, 행동은 선형 속도와 각속도를 제어하는 연속 공간에서 이루어진다.

실험 결과

연구 질문

• RQ1 제안된 라플라스 기반 보상 형상화 기법이 UGV 주행 과제에서 DDPG 및 PPO의 수렴 속도와 최종 성능을 향상시키는가?
• RQ2 보상 형상화 유무에 따라 DDPG와 PPO가 장애물 회피 과제에서 안정성, 수렴 속도, 누적 평균 보상 측면에서 어떻게 비교되는가?
• RQ3 보상 형상화 통합이 복잡한 실제 환경에 유사한 로봇 환경에서 더 강력하고 효율적인 정책을 이끌 수 있는가?
• RQ4 보상 형상화 기법이 연속 제어 강화학습에서 모바일 로봇의 훈련 불안정성과 샘플 효율성 향상에 얼마나 기여하는가?

주요 결과

• PPO는 수렴 속도와 최종 성능 모두에서 DDPG를 능가하며, 보상 형상화 시 평균 누적 보상 -323.59를 기록한 반면 DDPG는 -477.06을 기록했다.
• 보상 형상화의 통합으로 성능 향상이 뚜렷하게 나타났다: DDPG의 평균 보상은 형상화 없이 -710.56에서 형상화 시 -477.06으로 향상되었고, PPO의 경우 -679.43에서 -323.59로 향상되었다.
• PPO의 최소 보상은 형상화 시 -155.06에 도달하여 심각한 페널티를 받는 에피소드가 줄어들어 정책 학습의 일관성 있는 성과를 시사한다.
• 형상화를 적용한 DDPG는 최대 보상 -177.65를 기록했으며, 기준 최대 보상 -360.87보다 뚜렷한 향상으로 더 나은 정책의 강건성을 보여준다.
• 보상 형상화 기법으로 수렴 속도가 빨라졌음을 평균 보상 곡선의 조기에 안정화된 것으로 확인할 수 있었다.
• 제안된 방법은 라플라스 안정성 이론에 기반한 이론적 기반 덕분에 최적성과 수렴 보장을 유지하며, 편향 없는 최적 정책을 보장한다.