[논문 리뷰] OrcVIO: Object residual constrained Visual-Inertial Odometry

Mo Shan, Vikas Dhiman외 3명|arXiv (Cornell University)|2020. 07. 29.

Robotics and Sensor-Based Localization참고 문헌 97인용 수 4

한 줄 요약

OrcVIO는 객체 검출기에서 유도된 의미 잔차와 의미 키포인트를 사용하여 시각-자이로스코프 오도메트리 시스템을 통해 센서의 경로와 3D 객체 자세를 공동으로 추정하는 밀착된 쌍방향 시스템을 제안한다. 개선된 기하 기반 SLAM 접근 방식에 비해 더 높은 정확도, 실시간 성능, 높은 내구성 및 일관성을 달성하기 위해 객체 특징 및 경계 상자 측정치를 수정된 MSCKF 프레임워크에 통합한다.

ABSTRACT

Introducing object-level semantic information into simultaneous localization and mapping (SLAM) system is critical. It not only improves the performance but also enables tasks specified in terms of meaningful objects. This work presents OrcVIO, for visual-inertial odometry tightly coupled with tracking and optimization over structured object models. OrcVIO differentiates through semantic feature and bounding-box reprojection errors to perform batch optimization over the pose and shape of objects. The estimated object states aid in real-time incremental optimization over the IMU-camera states. The ability of OrcVIO for accurate trajectory estimation and large-scale object-level mapping is evaluated using real data.

연구 동기 및 목표

• 기하 기반 SLAM과 의미적 장면 이해 사이의 격차를 메우기 위해 시각-자이로스코프 오도메트리에 객체 수준의 사전 지식을 통합한다.
• 딥 러닝 기반 객체 검출 및 추적을 사용하여 실시간 SLAM 시스템에서 온라인, 글로벌 일관성 있는 객체 매핑의 부족을 해결한다.
• 객체 특징 및 경계 상자 측정치에서 유도된 의미 잔차를 활용하여 센서 경로 추정 정확도를 향상시킨다.
• 단일 최적화 프레임워크 내에서 IMU-카메라 상태와 객체 상태(자세, 방향, 거친 형태 및 세밀한 형태)를 실시간으로 점진적으로 추정할 수 있도록 한다.

제안 방법

• 검출된 객체의 위치, 방향, 거친 타원형 형태 및 세밀한 의미 키포인트 기반 형태를 모델링하는 객체 상태를 도입한다.
• 두 가지 새로운 잔차 항목을 정의한다: 하나는 객체의 의미 키포인트를 시각적 특징과 연결하고, 다른 하나는 객체 경계 상자 검출 결과를 추정된 객체 형태와 연결한다.
• 모든 의미 잔차 항목에 대해 닫힌 형태의 야코비안을 유도하여 수정된 다중 상태 제약 칼만 필터(MSCKF) 내에서 효율적이고 실시간 최적화를 가능하게 한다.
• MSCKF를 확장하여 다중 시점에서 IMU-카메라 상태와 객체 상태를 동시에 최적화하는 온라인 밀착 최적화를 지원한다.
• 객체의 형태와 자세를 표현하기 위해 거친 카테고리 무관 타원형 모델과 세밀한 카테고리별 의미 키포인트 모델을 사용한다.
• 정적 상태 동안 드리프트를 줄이기 위해 의사 자이로스코프 측정 기반의 영속 속도 업데이트를 적용한다.

실험 결과

연구 질문

• RQ1 객체 수준의 의미적 사전 지식은 실시간 시스템에서 시각-자이로스코프 오도메트리의 정확도와 내구성 향상에 기여하는가?
• RQ2 객체 특징 및 경계 상자 측정치는 인자 그래프 최적화 프레임워크에 효과적으로 통합되어 센서 및 객체 상태를 공동으로 추정할 수 있는가?
• RQ3 기하 기반 SLAM에 비해 의미 잔차를 통합할 경우 경로 추정 및 객체 매핑 성능 향상 정도는 어느 정도인가?
• RQ4 밀착된 점진적 추정 프레임워크는 센서 상태와 객체 상태를 동시에 최적화하면서도 실시간 성능을 유지할 수 있는가?
• RQ5 의미 키포인트와 형태 사전 지식의 사용은 대규모 의미 지도의 일관성과 해석 가능성 향상에 어떤 영향을 미치는가?

주요 결과

• OrcVIO는 반복적인 구조를 가진 환경에서 특히 기하 기반 단일 SLAM 기반 방법에 비해 훨씬 향상된 센서 경로 정확도를 달성한다.
• 객체 의미 잔차의 통합은 의미적으로 유의미한 제약 조건을 제공함으로써 드리프트를 감소시키고 루프 클로징 성능을 향상시킨다.
• 시스템은 기하학적으로 일관성 있고 의미적으로 풍부한 지도를 생성하며, 시뮬레이션 및 실제 환경 실험 모두에서 추정된 객체 형태와 자세가 진짜 값과 매우 유사하게 나타난다.
• 거친 타원형 모델과 세밀한 의미 키포인트 모델의 사용은 세부 CAD 모델이 없어도 정확한 객체 표현을 가능하게 한다.
• 알고리즘은 실시간으로 작동하며 온라인 점진적 추정을 지원하여 이동형 로봇 플랫폼에의 구현에 적합하다.
• 정지 상태 동안의 영속 속도 업데이트가 드리프트 감소에 효과적으로 기여하여 경로 정확도를 추가로 향상시킨다.