[논문 리뷰] Legged Robot State Estimation using Invariant Kalman Filtering and Learned Contact Events

Tzu-Yuan Lin, Ray Zhang외 2명|arXiv (Cornell University)|2021. 06. 29.

Robotic Locomotion and Control참고 문헌 27인용 수 10

한 줄 요약

이 논문은 물리적 힘 센서를 필요로 하지 않고 자가 감지된 접촉 레이블을 사용하여, 관절 엔코더, 자이로스코프, 운동학 데이터만을 이용해 접촉 상태를 추정하는 학습 기반 접촉 추정기(contact estimator)를 제안한다. MIT Mini Cheetah에서 자가 감지된 접촉 레이블을 기반으로 훈련된 딥 컨볼루션 네트워크를 통해 8종의 지형에서 97% 이상의 정확도를 달성하였으며, 접촉 보조 불변 확장된 칼만 필터(InEKF)를 통합하여 시각 SLAM 수준의 오도메트리 추적 성능을 달성하였고, 특히 시각적 조건이 열악한 환경에서도 유사한 성능을 보였다.

ABSTRACT

This work develops a learning-based contact estimator for legged robots that bypasses the need for physical sensors and takes multi-modal proprioceptive sensory data as input. Unlike vision-based state estimators, proprioceptive state estimators are agnostic to perceptually degraded situations such as dark or foggy scenes. While some robots are equipped with dedicated physical sensors to detect necessary contact data for state estimation, some robots do not have dedicated contact sensors, and the addition of such sensors is non-trivial without redesigning the hardware. The trained network can estimate contact events on different terrains. The experiments show that a contact-aided invariant extended Kalman filter can generate accurate odometry trajectories compared to a state-of-the-art visual SLAM system, enabling robust proprioceptive odometry.

연구 동기 및 목표

• 특히 시각적 조건이 열악한 환경에서 전용 접촉 센서 없이도 신뢰할 수 있는 상태 추정을 달성하는 데 도전한다.
• 자이로스코프, 관절 엔코더, 운동학 데이터 등 기존의 자가 감지 센서(Proprioceptive sensors)만을 활용해 접촉 상태를 추정하는 접촉 추정기를 개발한다.
• 다양하고 불규칙한 지형에서 실시간 제어 및 국소화 작업을 위한 고주기, 실시간 상태 추정을 가능하게 한다.
• 하드웨어 수정 없이 다양한 로봇 플랫폼과 지형에 일반화 가능한 프레임워크를 구축한다.
• 재현성 및 로봇 시스템의 센서 없는 상태 추정 분야의 향후 연구를 지원하기 위해 오픈소스 데이터셋과 코드를 제공한다.

제안 방법

• 관절 엔코더, 자이로스코프, 운동학 데이터를 입력으로 사용하여 16개의 접촉 상태(각 다리당 이진 접촉/비접촉)를 분류하는 2블록 컨볼루션 신경망을 훈련한다.
• 운동학 일관성과 운동 역학을 기반으로 자가 감지된 접촉 레이블을 생성하여 물리적 센서에 의존하지 않는다.
• 학습된 접촉 추정 결과를 접촉 보조 불변 확장된 칼만 필터(InEKF)에 통합하여 상태 추정을 수행하며, 필터의 불변성 특성을 활용해 수치적 안정성을 향상시킨다.
• 경량 네트워크 아키텍처를 사용하여 임베디드 플랫폼(예: NVIDIA Jetson AGX Xavier)에서 실시간 추론이 가능하도록 최적화하였으며, 추론 속도는 최대 830 Hz에 이른다.
• 전체 파이프라인을 MIT Mini Cheetah 로봇에 구현하였으며, 실시간 통신 및 제어 시스템 통합을 위해 LCM을 사용한다.
• 경험적 방법으로 접촉 측정 공분산을 캘리브레이션하고, ORB-SLAM2를 지상 진위(ground truth)의 대체 기준으로 하여 성능을 검증한다.

실험 결과

연구 질문

• RQ1 물리적 힘 센서 없이도 자가 감지된 센서 데이터(관절 엔코더, 자이로스코프, 운동학)만을 사용해 딥 러닝 모델이 다리 로봇의 접촉 사건을 정확하게 추정할 수 있는가?
• RQ2 운동학 기반 자가 감지 접촉 레이블링 방법의 정확도와 강건성은 기존의 힘 기반 또는 임계값 기반 접근법과 비교해 어떻게 다른가?
• RQ3 학습된 접촉 상태를 활용한 접촉 보조 불변 EKF가 다양한 지형에서 시각 SLAM 시스템 수준의 오도메트리 추적 성능을 달성할 수 있는가?
• RQ4 제안된 접촉 추정기는 다양한 로봇 자세와 표면 유형(불규칙하거나 미끄럽고 흐린 지형 포함)에 대해 얼마나 일반화 가능한가?
• RQ5 임베디드 하드웨어에서 접촉 추정기의 실시간 추론 성능은 어떠한가? 이는 다리 로봇에의 구현 가능성을 높인다.

주요 결과

• 운동학적으로 생성된 레이블을 기반으로 훈련한 결과, 테스트 세트에서 모든 다리 평균 97.82%의 정확도를 달성하였다.
• 운동학 레이블을 기반으로 훈련한 결과, 두 다리 모두 92% 이상의 정확도를 유지하였으며, 거짓 경고율(false positive rate)은 증가하지 않았다. 이는 상태 추정에 대한 강건성을 보여준다.
• NVIDIA RTX 3090에서는 1100 Hz, NVIDIA Jetson AGX Xavier에서는 830 Hz의 추론 속도를 기록하여, 로봇의 500 Hz 엔코더 업데이트 주기에서 실시간 동작이 가능하다.
• 접촉 보조 InEKF는 ORB-SLAM2(최신 시각 SLAM 시스템)와 유사한 정확도로 오도메트리 추적 경로를 생성하였으며, 특히 시야가 떨어지거나 도전적인 환경에서 뛰어난 성능을 보였다.
• MIT Mini Cheetah에서의 성능 검증을 통해 다양한 지형과 로봇 플랫폼으로의 일반화 성능이 입증되었으며, 8종의 서로 다른 표면에서 검증되었다.
• 제거 실험(ablation study) 결과, 2블록 아키텍처가 정확도와 효율성의 최적 균형을 이룩하였으며, 단순하거나 깊은 변형보다 정확도와 거짓 경고율 모두에서 뛰어난 성능을 보였다.