[논문 리뷰] milliEgo: Single-chip mmWave Radar Aided Egomotion Estimation via Deep Sensor Fusion

Chris Xiaoxuan Lu, Muhamad Risqi U. Saputra외 7명|arXiv (Cornell University)|2020. 06. 03.

Robotics and Sensor-Based Localization인용 수 15

한 줄 요약

milliEgo는 단일 칩 밀리미터파 레이더와 자이로스코프/가속도계(IMU) 데이터를 딥러닝 기반으로 융합하여 안정적이고 실시간으로 6-자유도 상대운동 추정을 가능하게 하는 시스템을 제안한다. 이는 1.3%의 3D 궤적 오차 드리프트를 달성한다. 이 시스템은 내부 센서 기능 가중치를 위한 자기주의(self-attention)와 인간의 공간 인지 모델을 영감으로 삼은 교차주의(cross-attention)를 포함한 이중 단계 주의 메커니즘을 사용하여 밀리미터파 레이더와 관성 데이터를 융합함으로써, 도전적인 환경에서도 높은 정확도의 자세 추정을 가능하게 한다.

ABSTRACT

Robust and accurate trajectory estimation of mobile agents such as people and robots is a key requirement for providing spatial awareness for emerging capabilities such as augmented reality or autonomous interaction. Although currently dominated by optical techniques e.g., visual-inertial odometry, these suffer from challenges with scene illumination or featureless surfaces. As an alternative, we propose milliEgo, a novel deep-learning approach to robust egomotion estimation which exploits the capabilities of low-cost mmWave radar. Although mmWave radar has a fundamental advantage over monocular cameras of being metric i.e., providing absolute scale or depth, current single chip solutions have limited and sparse imaging resolution, making existing point-cloud registration techniques brittle. We propose a new architecture that is optimized for solving this challenging pose transformation problem. Secondly, to robustly fuse mmWave pose estimates with additional sensors, e.g. inertial or visual sensors we introduce a mixed attention approach to deep fusion. Through extensive experiments, we demonstrate our proposed system is able to achieve 1.3% 3D error drift and generalizes well to unseen environments. We also show that the neural architecture can be made highly efficient and suitable for real-time embedded applications.

연구 동기 및 목표

• 광학 센서가 실패하는 환경, 예를 들어 저조도 또는 특징이 없는 실내 공간에서 정확한 상대운동 추정 문제를 해결한다.
• 단일 칩 밀리미터파 레이더에서 유도되는 저해상도이자 흐린 포인트 클라우드로 인해 전통적인 포인트 클라우드 정렬 방법이 취약해지는 문제를 해결한다.
• 밀리미터파 레이더와 관성 센서 및 잠재적으로 다른 센서를 융합하는 안정적인 종단 간 딥러닝 프레임워크를 개발하여 자세 추정 성능을 향상시킨다.
• 모바일 기기나 마이크로로봇과 같은 저전력 플랫폼에서 실시간으로 임베디드 구동이 가능한 상대운동 추정을 구현한다.
• 새로운 이중 단계 주의 메커니즘을 도입하여 상호보완적인 이중 센서 행동을 모델링함으로써 센서 융합의 정교함을 향상시킨다.

제안 방법

• 기존의 취약한 포인트 클라우드 정렬을 피하기 위해 원시 또는 사전처리된 밀리미터파 포인트 클라우드에서 직접 6-자유도 자세 변환을 회귀하는 전용 밀리미터파 오도메트리 하위망을 제안한다.
• 이중 단계 주의 메커니즘을 도입한다: 첫 번째 단계로 각 센서 모odal(밀리미터파 및 IMU) 내에서 관련 기능을 우선순위화하기 위한 자기주의, 두 번째 단계로 이중 센서 간 상관관계를 모델링하기 위한 교차주의.
• 교차주의 레이어는 스펜스(Spence)의 공간 인지 모델을 영감으로 삼아 동적이고 해석 가능한 융합을 가능하게 하며, 밀리미터파와 관성 센서 간의 상호보완적 정보를 강조한다.
• 공간적 및 시간적 특징을 처리하기 위해 합성곱과 트랜스포머 기반 구성 요소를 융합한 하이브리드 아키텍처를 활용한다.
• 휴대기기 및 로봇에서 수집한 실제 궤적 데이터를 기반으로 감독학습을 통해 전체 네트워크를 종단 간(end-to-end)으로 훈련시킨다.
• 저전력 임베디드 플랫폼인 Jetson TX2와 같은 환경에서 실시간 추론을 최적화하여 모바일 및 웨어러블 응용 프로그램에 적합한 성능을 확보한다.

실험 결과

연구 질문

• RQ1 기존의 포인트 클라우드 정렬에 의존하지 않고, 저해상도이자 흐린 밀리미터파 레이더 포인트 클라우드에서 딥 네트워크가 효과적으로 상대운동 추정을 학습할 수 있는가?
• RQ2 밀리미터파 레이더와 관성 데이터를 어떻게 융합하여 도전적인 환경에서 정확도와 내성적 안정성을 향상시킬 수 있는가?
• RQ3 자기주의와 교차주의를 조합한 이중 단계 주의 메커니즘이 기존 방법에 비해 밀리미터파 보조 오도메트리에서 센서 융합 성능을 향상시킬 수 있는가?
• RQ4 제안된 시스템이 예측할 수 없는 실내 환경과 실제 움직이는 플랫폼으로의 일반화 능력은 어느 정도인가?
• RQ5 종단 간 융합 프레임워크는 저전력 임베디드 시스템에서 실시간 운영을 위해 효율적으로 구현될 수 있는가?

주요 결과

• milliEgo는 장거리 시퀀스 동안 3D 궤적 오차 드리프트가 단지 1.3%에 불과하여 실내 및 휴대기기 시나리오에서 기준선 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 시스템은 예측할 수 없는 환경으로의 일반화 능력이 뛰어나 사무실, 복도, 상업 건물 등 다양한 실내 환경에서 안정성을 입증했다.
• 이중 단계 주의 메커니즘—특히 교차주의 레이어—는 융합 성능을 향상시키며, 더 명확하고 행동적으로 일관된 센서 상호작용을 가능하게 했다.
• 신경망 아키텍처는 매우 효율적이며 실시간 임베디드 구동에 적합했으며, Jetson TX2 플랫폼에서 성공적으로 구현되었다.
• 딥러닝 기반 종단 간 융합을 통한 밀리미터파 레이더와 IMU의 융합은 기존 방법인 SelectiveFusion 및 DeepTIO보다 정확도와 내성적 안정성 측면에서 뛰어났다.
• 저조도나 특징이 없는 표면 조건에서도 시각-관성 오도메트리가 일반적으로 실패하는 상황에서도 높은 성능을 유지했다.