[논문 리뷰] Foresight Social-aware Reinforcement Learning for Robot Navigation

Yanying Zhou, Shijie Li외 1명|arXiv (Cornell University)|2021. 05. 27.

Evacuation and Crowd Dynamics참고 문헌 26인용 수 4

한 줄 요약

이 논문은 복잡하고 혼잡한 환경에서 비홀로노믹 로봇 주행을 위한 딥 강화학습 프레임워크인 R-SARL을 제안한다. 보상 함수를 보완하여 정적 및 동적 장애물과의 안전하지 않은 향후 상호작용을 처벌함으로써, 과도한 회피 경로와 타임아웃을 줄이고, 다양한 시뮬레이션 시나리오에서 안전성, 성공률, 효율성 측면에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

When robots handle navigation tasks while avoiding collisions, they perform in crowded and complex environments not as good as in stable and homogeneous environments. This often results in a low success rate and poor efficiency. Therefore, we propose a novel Foresight Social-aware Reinforcement Learning (FSRL) framework for mobile robots to achieve collision-free navigation. Compared to previous learning-based methods, our approach is foresighted. It not only considers the current human-robot interaction to avoid an immediate collision, but also estimates upcoming social interactions to still keep distance in the future. Furthermore, an efficiency constraint is introduced in our approach that significantly reduces navigation time. Comparative experiments are performed to verify the effectiveness and efficiency of our proposed method under more realistic and challenging simulated environments.

연구 동기 및 목표

• 밀도가 높고 복잡한 혼잡한 환경에서 과도하게 경계하거나 정지 행동을 보이는 기존의 사회적 인지 주행 방법의 한계를 해결한다.
• 실제 응용에서 흔한 비홀로노믹 유니클로이드 로봇의 주행 성능을 향상시킨다. 이는 사회적 강화학습 분야에서 다소 간과된 주제이다.
• 정적 및 동적 장애물과의 안전하지 않은 향후 상호작용을 사전에 처벌함으로써 '정지하는 로봇 문제'를 해결한다.
• 정적 장애물과 동적 장애물이 향후 경로에 미치는 영향을 별도로 모델링하여 안전성과 효율성의 균형을 이룬다.
• 밀도 높은 인간 혼잡 속에서 사회적으로 타당하고 효율적이며 충돌이 없는 주행을 유도하는 보상 함수를 개발한다.

제안 방법

• 전망 기반의 사회적 인지 기반 보상 함수를 통합한 딥 강화학습 프레임워크인 R-SARL을 제안한다.
• 정해진 거리 내에서의 안전하지 않은 향후 상호작용을 처벌하는 새로운 페널티 메커니즘을 도입하여, 충돌이 발생하기 전에 미래의 충돌을 추정한다.
• 보상 함수 내에서 정적 장애물(예: 정지한 사람)과 동적 장애물(예: 움직이는 사람)과의 안전하지 않은 상호작용의 영향을 별도로 모델링한다.
• 충돌 페널티, 타임아웃 페널티, 주행 효율성 지표를 조합한 보상 함수를 설계하여 정책 학습을 이끈다.
• 비홀로노믹 제약 조건 하에서 최적의 제어 정책을 학습하기 위해 딥 Q넷(DQN)을 사용하여 가치 함수를 근사한다.
• 다양한 혼잡도와 장애물 구성이 적용된 시뮬레이션 환경에서 정책을 엔드 투 엔드로 훈련하여 복잡한 시나리오 전반에 걸쳐 일반화한다.

실험 결과

연구 질문

• RQ1 밀도가 높은 혼잡한 환경에서 정적 및 동적 장애물을 동시에 피할 수 있도록 딥 강화학습 에이전트를 어떻게 훈련시킬 수 있는가? 이는 정지하거나 과도한 회피 경로를 선택하는 것을 방지한다.
• RQ2 전망 기반 보상 설계는 복잡하고 동적인 환경에서 주행 성공률 향상과 타임아웃 감소에 얼마나 기여하는가?
• RQ3 정적 및 동적 장애물 상호작용을 별도로 모델링하면 더 효율적이고 사회적으로 타당한 주행 경로를 얻을 수 있는가?
• RQ4 안전성, 성공률, 주행 효율성 측면에서 제안된 R-SARL 프레임워크는 최신 기술 수준의 방법들과 비교해 어떻게 성능을 내는가?
• RQ5 보상 함수에 향후 상호작용 추정을 통합함으로써, 충돌 빈도는 증가시키지 않고도 보수적인 피하기 행동을 줄일 수 있는가?

주요 결과

• R-SARL은 가장 복잡한 환경(Env. 3)에서 SARL 대비 10% 높은 성공률을 기록했으며, 간단한 설정에서는 4%의 격차를 보였고, 이는 혼잡한 환경에서의 뛰어난 강건성을 보여준다.
• Env. 1에서 충돌 빈도는 0.12에서 0.09로 0.05 감소했고, Env. 3에서는 0.15에서 0.12로 0.03 감소하여 효율성 손실 없이 더 나은 충돌 회피 성능을 보였다.
• Env. 1에서 타임아웃 빈도는 0.08에서 0.06으로 0.02 감소했고, Env. 3에서는 0.23에서 0.16으로 0.07 감소하여 극한 상황에서도 뛰어난 내구성을 보였다.
• Env. 1에서 평균 주행 시간은 SARL(8.94)과 유사한 9.42를 기록했지만, R-SARL은 더 어려운 케이스를 처리하면서도 이와 같은 시간을 유지했고, 이는 SARL의 경우 '정지' 행동으로 인해 효과적인 타임아웃 시간이 증가하는 것을 방지함을 시사한다.
• SARL 대비 12.5% 감소한 거리 이내의 밀도 높은 상호작용 빈도는 과도한 회피 경로를 줄였음을 나타낸다.
• 제거 분석 결과, 향후 상호작용 페널티와 타임아웃 페널티를 함께 사용한 R-SARL가 가장 뛰어난 성능을 보였으며, 단일 구성 요소만 사용한 방법보다 뛰어난 성능을 기록했다.