[논문 리뷰] An Open Source, Fiducial Based, Visual-Inertial Motion Capture System

Michael Neunert, Michael Bloesch외 1명|arXiv (Cornell University)|2015. 07. 08.

Robotics and Sensor-Based Localization참고 문헌 9인용 수 13

한 줄 요약

이 논문은 저비용으로 인쇄 가능한 AprilTags를 사용하여 단일 카메라 및 자이로스코프-가속도계(IMU) 데이터를 융합함으로써 정확하고 글로벌 일관성 있는 상태 추정을 가능하게 하는 오픈소스, 피드유셜 기반 시각-자이로스코픽 운동 캡처 시스템을 제시한다. 시각적 측정과 자이로스코픽 측정을 밀접하게 결합하고 온라인으로 카메라-IMU 외부 파rameter를 추정함으로써, 빠른 운동과 가림현상 상황에서도 뛰어난 성능을 발휘하며, 70–80 m의 루프에서 상대 위치 오차가 1미터 미만으로 유지된다.

ABSTRACT

Many robotic tasks rely on the accurate localization of moving objects within a given workspace. This information about the objects' poses and velocities are used for control,motion planning, navigation, interaction with the environment or verification. Often motion capture systems are used to obtain such a state estimate. However, these systems are often costly, limited in workspace size and not suitable for outdoor usage. Therefore, we propose a lightweight and easy to use, visual-inertial Simultaneous Localization and Mapping approach that leverages cost-efficient, paper printable artificial landmarks, socalled fiducials. Results show that by fusing visual and inertial data, the system provides accurate estimates and is robust against fast motions and changing lighting conditions. Tight integration of the estimation of sensor and fiducial pose as well as extrinsics ensures accuracy, map consistency and avoids the requirement for precalibration. By providing an open source implementation and various datasets, partially with ground truth information, we enable community members to run, test, modify and extend the system either using these datasets or directly running the system on their own robotic setups.

연구 동기 및 목표

• 상용 운동 캡처 시스템의 높은 비용, 제한된 작업 영역, 실내 전용 운영 문제를 해결한다.
• 비싼 하드웨어나 사전 校정이 필요 없이 정확하고 글로벌 일관성 있는 로봇 상태 추정을 가능하게 한다.
• 인쇄 가능한 피드유셜과 표준 로봇 센서를 사용하여 상용 운동 캡처 시스템의 경량이고 비용 효율적인 대안을 개발한다.
• 시각적 및 자이로스코픽 데이터의 밀접한 통합을 통해 빠른 운동, 가림현상, 조도 변화에 대한 강건성을 확보한다.
• 커뮤니티의 테스트, 확장, 실제 로봇 플랫폼에의 구현을 지원하기 위해 오픈소스 소프트웨are 및 데이터셋을 제공한다.

제안 방법

• 이미지 평면에서 고유하고 강력한 6-DoF 자세 관측을 제공하기 위해 인공 피드유셜로 AprilTags를 사용한다.
• 원시 코너 검출 결과와 IMU에서 얻은 관성 측정값을 융합하는 밀착된 확장된 칼만 필터(Equation: EKF)를 구현한다.
• 사전 校정이 필요 없이 온라인으로 로봇의 자세, 속도, 카메라-IMU 외부 파rameter를 동시에 추정한다.
• 관성 데이터를 활용해 속도 추정 품질을 향상시키고 피드유셜 가림현상이나 운동 왜곡 상황에서도 추적을 유지한다.
• 반복적인 태그 관측을 통해 암묵적으로 루프 클로징을 수행함으로써 명시적 루프 탐지 알고리즘의 필요성을 제거한다.
• 온라인 외부 파rameter 추정을 통해 일관되고 반복 가능한 校정 결과를 달성하였으며, 10개의 독립적 기록에서 검증되었다.

실험 결과

연구 질문

• RQ1 인쇄 가능한 피드유셜을 사용한 밀착된 시각-자이로스코픽 융합 방법이 사전 校정 없이도 정확하고 글로벌 일관성 있는 상태 추정을 달성할 수 있는가?
• RQ2 피드유셜 전용 시스템과 비교해 관성 측정값의 포함이 빠른 운동, 가림현상, 조도 변화 상황에서 강건성을 어떻게 향상시키는가?
• RQ3 희박한 피드유셜 커버리지 조건에서도 장거리 궤적에서 정확성과 일관성을 얼마나 오랫동안 유지할 수 있는가?
• RQ4 기존의 校정 방법과 비교해 카메라-IMU 외부 파ram터의 온라인 추정 방식이 반복성과 정확성 측면에서 얼마나 우수한가?
• RQ5 실시간, 저지연, 고정밀 상태 추정이 요구되는 루프백 제어 작업을 효과적으로 지원할 수 있는가?

주요 결과

• 루프 클로징 시 큐브 데이터셋에서는 상대 위치 오차가 약 1.2% (70m에서 0.86m 오차)이며, 파빌리온 데이터셋에서는 0.5% (80m에서 0.38m 오차)를 기록했으며, 이는 검출기 추정치를 기준으로 한 결과이다.
• 루프 클로징 시 평균 재투영 오차는 큐브 데이터셋에서 56.07픽셀, 파빌리온 데이터셋에서 51.01픽셀로, 우수한 특징 추적 일관성을 나타낸다.
• 온라인 외부 파ram터 校정은 10개의 독립적 기록에서 변위 오차 RMS가 1.5cm, 회전 오차 RMS가 0.0035rad로 높은 반복성을 입증하였다.
• 시스템은 수압식 액추에이터를 장착한 4족 보행 로봇의 루프백 제어를 성공적으로 구현하였으며, 오직 상태 추정치만을 사용하여 로봇의 위치를 중심에 안정화시켰다.
• 관성 데이터의 포함으로 속도 추정 품질이 크게 향상되었으며, 매끄럽고 시간 해상도가 높다는 점에서 상용 시스템을 초월하였다.
• 희박한 피드유셜 커버리지 조건에서도 장거리 궤적에서 장기적인 정확성과 지도 일관성을 확보하였으며, 반복적인 피드유셜 관측을 통한 루프 클로징 정밀도 향상이 뚜렷했다.