[논문 리뷰] Under the Radar: Learning to Predict Robust Keypoints for Odometry Estimation and Metric Localisation in Radar

Dan Barnes, Ingmar Posner|arXiv (Cornell University)|2020. 01. 29.

Robotics and Sensor-Based Localization참고 문헌 22인용 수 16

한 줄 요약

이 논문은 자가지도 학습 및 미분 가능한 프레임워크를 제안하며, 자이로스코프 오차를 유일한 지도로 사용하여 레이더 키포인트를 엔드 투 엔드로 학습함으로써 오도메트리 및 메트릭 로컬라이제이션에 대해 강건한 키포인트를 학습한다. 미분 가능한 포인트 기반 운동 추정기 통합을 통해 키포인트 위치, 점수, 기술자료를 함께 최적화하며, 오도메트리 오차를 45% 감소시키고 옥스포드 레이더 로봇카 데이터셋에서 280km의 실제 레이더 데이터에서 실시간 메트릭 루프 클로징 검출을 가능하게 한다.

ABSTRACT

This paper presents a self-supervised framework for learning to detect robust keypoints for odometry estimation and metric localisation in radar. By embedding a differentiable point-based motion estimator inside our architecture, we learn keypoint locations, scores and descriptors from localisation error alone. This approach avoids imposing any assumption on what makes a robust keypoint and crucially allows them to be optimised for our application. Furthermore the architecture is sensor agnostic and can be applied to most modalities. We run experiments on 280km of real world driving from the Oxford Radar RobotCar Dataset and improve on the state-of-the-art in point-based radar odometry, reducing errors by up to 45% whilst running an order of magnitude faster, simultaneously solving metric loop closures. Combining these outputs, we provide a framework capable of full mapping and localisation with radar in urban environments.

연구 동기 및 목표

• 레이더 기반 자율 주행에서 신뢰할 수 없는 수동으로 설계된 키포인트 문제를 해결하기 위해.
• 재현성 또는 호모그래피와 같은 프록시 지도를 사용하지 않고 로컬라이제이션 오차를 직접 학습함으로써 의존도를 제거하기 위해.
• 레이더를 위한 키포인트 위치, 점수, 기술자료를 함께 학습하는 센서에 종속되지 않는, 미분 가능한 아키텍처를 개발하기 위해.
• 복잡한 도심 레이더 환경에서 강건한 루프 클로징 검출을 가능하게 하며 전체 메트릭 로컬라이제이션을 실현하기 위해.
• 실시간 추론 속도를 유지하면서도 포인트 기반 레이더 오도메트리에서 최신 기술 성능을 달성하기 위해.

제안 방법

• 자이로스코프 추정 과정을 통해 역전파가 가능하도록 CNN 아키텍처 내에 미분 가능한 포인트 기반 운동 추정기를 통합한다.
• 키포인트 위치는 셀 기반으로 공간 소프트맥스를 통해 예측되며, 셀 크기에 의해 제약을 받는 400개의 키포인트로 구성된다.
• 키포인트 점수는 시그모이드 활성화를 적용한 포인트와 연결된 컨볼루션을 통해 예측되며, 매칭에 대한 신뢰도 가중치를 제공한다.
• 기능 맵의 다중 스케일 조합을 통해 기술자료를 생성하고, 입력 해상도로 리사이징하여 밀도 있는 픽셀 단위 표현을 만든다.
• 모든 네트워크는 오도메트리 오차만을 지도로 사용하여 학습되며, 순차적 스캔에서 자동으로 진짜 자이로스코프 자세가 생성된다.
• 루프 클로징은 코사인 유사도를 사용해 학습된 임베딩을 비교하고, 효율적인 검색을 위해 KD트리가 사용된다.

실험 결과

연구 질문

• RQ1 프록시 지도에 의존하지 않고 자가지도 학습 및 엔드 투 엔드로 미분 가능한 아키텍처가 강건한 레이더 키포인트를 학습할 수 있는가?
• RQ2 자이로스코프 오차만을 지도로 사용하여 키포인트 검출, 점수 매기기, 기술자료 학습을 함께 최적화할 수 있는가?
• RQ3 제안된 방법이 기존 최신 기술보다 포인트 기반 레이더 오도메트리에서 슈퍼리어한 성능을 달성하면서도 메트릭 루프 클로징 검출을 가능하게 하는가?
• RQ4 학습된 키포인트가 다양한 도심 환경에서 일반화되며 레이더 특유의 노이즈와 아티팩트를 처리할 수 있는가?
• RQ5 이 프레임워크는 레이더 이외의 다른 센서 모달리티에도 적용 가능한가?

주요 결과

• 옥스포드 레이더 로봇카 데이터셋에서 기존 최신 기술 대비 오도메트리 오차를 최대 45% 감소시켰다.
• 이전 방법보다 약 10배 빠른 속도로 실행되면서도 뛰어난 정확도를 달성했다.
• 학습된 기술자료는 강건한 메트릭 루프 클로징 검출을 가능하게 하며, 같은 노선을 다른 경로로 주행한 경우에도 정확한 검출 결과를 보였다.
• NetVLAD로의 피니팅 없이 오도메트리 오차만으로 학습함으로써, 그림 5에서 보듯이 더 뛰어난 장소 인식 재현율을 보였다.
• 아키텍처는 센서에 종속되지 않으며, 최소한의 수정으로 다른 모달리티에 적용 가능하다.
• g2o를 사용한 자세 그래프 최적화는 실시간 속도를 ���터 초과하는 완전 최적화된 지도를 생성하여 전체 시스템의 실현 가능성을 입증했다.