[논문 리뷰] Stereo Visual Inertial Pose Estimation Based on Feedforward-Feedback Loops

Shengyang Chen, Chih‐Yung Wen외 2명|arXiv (Cornell University)|2020. 07. 05.

Robotics and Sensor-Based Localization참고 문헌 40인용 수 8

한 줄 요약

이 논문은 피드포워드 및 피드백 루프를 사용하여 융합 과정을 제어 시스템으로 모델링하는 새로운 스테레오 시각-자이로스코프 포즈 추정 시스템인 FLVIS를 제안한다. 프론트엔드 처리를 백엔드 최적화에서 분리하고 기울기 기반 필터링, 왜기 보정, IIR 기반의 지점 추적을 적용함으로써, 임베디드 플랫폼에서 높은 정확도와 실시간 성능을 달성한다. 저전력 CPU에서 67 FPS의 성능과 실내 비행 테스트에서 0.2m의 ATE를 기록하였다.

ABSTRACT

In this paper, we present a novel stereo visual inertial pose estimation method. Compared to the widely used filter-based or optimization-based approaches, the pose estimation process is modeled as a control system. Designed feedback or feedforward loops are introduced to achieve the stable control of the system, which include a gradient decreased feedback loop, a roll-pitch feed forward loop and a bias estimation feedback loop. This system, named FLVIS (Feedforward-feedback Loop-based Visual Inertial System), is evaluated on the popular EuRoc MAV dataset. FLVIS achieves high accuracy and robustness with respect to other state-of-the-art visual SLAM approaches. The system has also been implemented and tested on a UAV platform. The source code of this research is public to the research community.

연구 동기 및 목표

• 드론(UAV)에서 제한된 계산 자원 조건 하에서 실시간 정확도 높은 시각-자이로스코프 포즈 추정의 과제를 해결한다.
• 기존의 필터 기반 또는 최적화 기반의 시각-자이로스코프 SLAM의 계산 병목 현상을 해결하기 위해 융합 과정을 제어 시스템으로 재고한다.
• 프론트엔드 처리를 백엔드 최적화에서 분리하여 임베디드 시스템의 속도와 확장성 향상을 도모한다.
• 키프레임 기반 추적에 의존하지 않고도 높은 정확도와 강건성을 확보함으로써 더 빠른 처리를 가능하게 한다.
• 공개 데이터셋과 실제 드론 플랫폼 모두에서 실시간 성능과 높은 정확도를 입증하며, 최소한의 드리프트를 유지한다.

제안 방법

• 포즈 추정의 안정성을 높이기 위해 피드포워드 및 피드백 루프를 사용하여 시각-자이로스코프 융합 과정을 제어 시스템으로 모델링한다.
• IMU 데이터로부터 실시간으로 강건한 자세 추정을 수행하기 위해 한 스텝 기반 기울기 기반 필터(Madgwick 필터)를 통합한다.
• IMU 예측 포즈를 프론트엔드 내부의 프레임별 번들 조정에 대한 피드포워드 보정으로 활용하여 初기 추측의 품질을 향상시킨다.
• IMU 왜기 보정 피드백 루프를 구현하여 IMU 왜기를 보정하고 이를 IMU 전파 모델에 피드백한다.
• 무한 임펄스 응답(IIR) 필터를 적용하여 장기간에 걸쳐 안정적이고 정확한 지점의 깊이 및 위치 추정을 유지한다.
• 키프레임 메시지 전달만으로 프론트엔드를 백엔드에서 분리하여 프론트엔드가 독립적으로 고속으로 작동할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 피드포워드 및 피드백 루프를 갖춘 제어 시스템 기반 프레임워크가 기존의 필터 기반 또는 최적화 기반의 시각-자이로스코프 융합보다 정확도와 실시간 성능에서 뛰어나게 되는가?
• RQ2 키프레임 보정을 통한 프론트엔드와 백엔드의 분리가 임베디드 시스템에서 처리 속도와 확장성 향상에 어떻게 기여하는가?
• RQ3 기울기 기반 필터와 IIR 기반 지점 추적의 통합이 포즈 추정의 안정성과 정확도에 어느 정도 기여하는가?
• RQ4 제한된 계산 자원 조건에서도 실제 드론 비행 환경에서 높은 정확도와 낮은 드리프트를 유지할 수 있는가?
• RQ5 루프 클로징은 대규모 환경에서 장기적 드리프트를 보정하는 데 어떻게 기여하는가?

주요 결과

• 임베디드 x5-z8350 프로세서에서 스테레오 딥 입력을 사용할 경우 FLVIS는 67 FPS를 기록하며, 동일한 플랫폼에서 VINS-Fusion이 41 FPS를 기록하는 것보다 뚜렷한 성능 향상을 보였다.
• EuRoC MH05 데이터셋에서 FLVIS는 실내 31.0미터의 도트-8 비행에서 절대 궤적 오차(ATE)가 0.2미터로 매우 높은 정확도를 확보하였다.
• 루프 클로징을 통해 대규모 환경에서의 드리프트를 감소시켰으며, 루프 클로징 기능을 활성화한 경우 궤적은 거의 완벽한 클로징을 보였다.
• 백엔드 처리 시간은 슬라이딩 윈도우 크기에 비례하지만, 프론트엔드 처리 시간은 일정하여 자원 제약 조건이 있는 시스템에서도 예측 가능한 성능을 확보할 수 있었다.
• 강건한 초기 포즈 추정과 안정적인 지점 추적 덕분에 프론트엔드에서 키프레임 유지 없이도 높은 정확도를 유지를 하였다.
• 깊이 카메라(D435i)의 통합으로 FPS가 83으로 상승하여, 직접적인 깊이 입력을 통한 성능 향상에 대한 시스템의 적응성과 가능성을 입증하였다.