[논문 리뷰] Resilient Legged Local Navigation: Learning to Traverse with Compromised Perception End-to-End

Jin Jin, Chong Zhang외 5명|arXiv (Cornell University)|2023. 10. 05.

Robotic Locomotion and Control인용 수 1

한 줄 요약

이 논문은 다리가 달린 로봇을 위한 종단간 강화학습(RL) 정책을 제안하며, 시각 장애물이나 함정과 같은 인지 능력이 손상된 상황에서도 내성적인 로컬 내비게이션을 가능하게 한다. 운동 제어 시스템의 체감성 및 외감성 피드백을 내비게이션 정책에 통합함으로써, 히وري스틱 기반 이상 탐지에 의존하지 않고 충돌이나 발차기 실패와 같은 인지 실패를 탐지하고 반응할 수 있도록 학습한다. 이로 인해 인지 실패 상황에서 전통적 플래너보다 30% 높은 성공률을 달성한다.

ABSTRACT

Autonomous robots must navigate reliably in unknown environments even under compromised exteroceptive perception, or perception failures. Such failures often occur when harsh environments lead to degraded sensing, or when the perception algorithm misinterprets the scene due to limited generalization. In this paper, we model perception failures as invisible obstacles and pits, and train a reinforcement learning (RL) based local navigation policy to guide our legged robot. Unlike previous works relying on heuristics and anomaly detection to update navigational information, we train our navigation policy to reconstruct the environment information in the latent space from corrupted perception and react to perception failures end-to-end. To this end, we incorporate both proprioception and exteroception into our policy inputs, thereby enabling the policy to sense collisions on different body parts and pits, prompting corresponding reactions. We validate our approach in simulation and on the real quadruped robot ANYmal running in real-time (<10 ms CPU inference). In a quantitative comparison with existing heuristic-based locally reactive planners, our policy increases the success rate over 30% when facing perception failures. Project Page: https://bit.ly/45NBTuh.

연구 동기 및 목표

• 외감성 인지가 실패할 경우에도 작동하는 내비게이션 정책을 개발하는 것, 예를 들어 보이지 않는 장애물이나 함정이 있는 상황에서의 작동.
• 히وري스틱 기반 이상 탐지 및 재계획 수단에 대한 의존도를 제거하고 인지 실패 복구를 위한 방법을 개발하는 것.
• 로봇 신체의 물리적 피드백을 실시간으로 반영하는 내비게이션 전략을 종단간으로 학습할 수 있도록 하는 것.
• ANYmal 4족 보행 로봇을 대상으로 시뮬레이션 및 실제 환경에서의 구현을 통해 방법을 검증하는 것.
• 다리가 달린 로봇이 장애물에 완전히 시력이 없더라도 신체 피드백만으로 성공적으로 내비게이션할 수 있음을 입증하는 것.

제안 방법

• 손상된 외감성 및 체감성 피드백을 입력으로 받아 속도 명령을 생성하는 비대칭 액터-크리틱 딥 RL 정책을 훈련한다.
• 운동 제어 수준의 외감성(예: 발 접촉력)과 체감성(예: 관절 각도, 기준 자이로스코프)을 핵심 관측값으로 사용하여 충돌 및 발차기 실패를 탐지한다.
• 메모리 증강 액터를 사용해 부분적 또는 손상된 센서 입력으로부터 환경 상태를 추론함으로써 인지 실패에 대한 강건성을 향상시킨다.
• 특권 정보(예: 완벽한 지ap, 외부 힘)에 접근할 수 있는 크리틱을 사용하여 훈련을 안정화하고 안내한다.
• 제어 가능한 인지 실패 비율(예: 0%, 50%, 100% 장애물/함정 가시성)을 갖춘 맞춤형 시뮬레이션 환경을 설계하여 정책의 훈련 및 평가를 수행한다.
• 잠재 공간에서 진짜 환경 상태를 암묵적으로 추론하기 위해 정규화를 적용함으로써 최적화된 정책 수렴을 방지한다.

실험 결과

연구 질문

• RQ1 장애물이나 함정이 보이지 않는 상황에서 인지 실패가 발생할 경우 종단간 강화학습 정책이 효과적으로 내비게이션을 학습할 수 있는가?
• RQ2 운동 제어 시스템에서 유도된 체감성 및 외감성 피드백이 인지 실패 탐지 및 복구에 어떻게 기여하는가?
• RQ3 메모리와 잠재 상태 추론을 통합함으로써 기존 기준 대비 인지 품질 저하에 대한 강건성이 향상되는가?
• RQ4 정책이 완전히 인지 기능을 失능한 상황에서도 실제 환경 내비게이션에 일반화 가능한가?
• RQ5 다양한 수준의 인지 손상 상황에서 히وري스틱 기반 플래너와 비교해 정량적으로 성능이 어떻게 다른가?

주요 결과

• 제안된 RL 정책는 인지 실패 상황에서 전통적 히وري스틱 기반 플래너보다 성공률이 30% 이상 높으며, 0% 가시성인 함정 상황에서 93.0%의 성공률을 기록한다.
• 50% 가시성인 장애물 상황에서 정책는 92.0%의 성공률를 기록했고, 기준 플래너는 54.0%였으며, p-value < 0.001이다.
• 체감성만으로도 강건성이 향상되며, 0% 가시성 장애물 상황에서 기준 충돌 수를 48.3에서 4.6으로 감소시킨다.
• 운동 제어 수준의 외감성은 함정 탐지에 크게 기여하여, 0% 가시성 함정 상황에서 평균 시간 비용을 22.5초에서 12.3초로 감소시킨다.
• 암묵적 상태 추론을 위한 정규화가 필수적이다. 이와 같은 정규화 없이 성능은 상당히 저하되며, 특히 높은 인지 손상 상황에서 두드러진다.
• 정책는 완전히 실내에서의 장애물에 대해 완전히 블라인드 상태에서도 실제 환경 내비게이션에 성공하며, 기준, 허벅지, 다리에 발생하는 충돌에 반응하고, 횡방향 속도 명령을 사용해 보이지 않는 함정에서 복구한다.