[논문 리뷰] ClusterVO: Clustering Moving Instances and Estimating Visual Odometry for Self and Surroundings

Jiahui Huang, Sheng Yang외 2명|arXiv (Cornell University)|2020. 03. 29.

Video Surveillance and Tracking Methods참고 문헌 47인용 수 4

한 줄 요약

ClusterVO는 기하학적 또는 객체 특화 사전 지식에 의존하지 않고, 실시간 스테레오 시각 올로메트리 시스템을 제안하며, 동적인 환경에서 자동차의 자세 운동과 이동하는 강체 물체의 군집을 동시에 추정한다. 다중 수준의 확률적 연관성과 의미적, 공간적, 운동적 특징을 통합한 이질적 CRF를 사용하여 온라인 군집화와 슬라이딩 윈도우 최적화를 가능하게 하여, KITTI 및 옥스포드 멀티모션 데이터셋에서 최신 기술 수준의 성능을 달성하며, 8 FPS로 작동한다.

ABSTRACT

We present ClusterVO, a stereo Visual Odometry which simultaneously clusters and estimates the motion of both ego and surrounding rigid clusters/objects. Unlike previous solutions relying on batch input or imposing priors on scene structure or dynamic object models, ClusterVO is online, general and thus can be used in various scenarios including indoor scene understanding and autonomous driving. At the core of our system lies a multi-level probabilistic association mechanism and a heterogeneous Conditional Random Field (CRF) clustering approach combining semantic, spatial and motion information to jointly infer cluster segmentations online for every frame. The poses of camera and dynamic objects are instantly solved through a sliding-window optimization. Our system is evaluated on Oxford Multimotion and KITTI dataset both quantitatively and qualitatively, reaching comparable results to state-of-the-art solutions on both odometry and dynamic trajectory recovery.

연구 동기 및 목표

• 일반적인 실시간 시각 올로메트리 시스템을 개발하여, 동적인 환경에서 자동차의 자세 운동과 다수의 이동하는 강체 물체를 동시에 추정한다.
• 이전 방법들이 배치 처리, 환경 사전 지식, 또는 물체의 형태나 구조에 대한 특수한 가정에 의존하는 한계를 극복한다.
• 실내 및 실외 환경, 자율 주행 및 AR 애플리케이션을 포함하여, 동적 물체와 카메라 운동에 대한 정확하고 일관된 군집화를 실현한다.
• 밀도 있는 RGB-D 입력이나 사전 정의된 객체 템플릿이 필요 없이도 고성능과 강건성을 유지하는 온라인 시스템을 설계한다.

제안 방법

• 다중 수준의 확률적 연관 메커니즘은 운동 일관성과 공간적 근접성을 기반으로, 프레임 간 희박한 2D 검출 결과와 3D 지점들을 추적한다.
• 이질적 조건부 무작위 필드(Conditional Random Field, CRF)는 의미적 경계 상자, 공간 유사도, 운동 일관성을 통합하여 실시간으로 군집 분할을 함께 추론한다.
• 시스템은 슬라이딩 윈도우 최적화 프레임워크를 사용하여 카메라 자세와 동적 물체 궤적을 동시에 해결한다.
• CRF 공식화는 단일 및 쌍방향 잠재 변수를 포함하며, 의미적 신뢰도, 공간 군집화, 운동 공명 항목(식 5)을 포함한다.
• 이 방법은 물체 크기 사전 지식이나 환경 구조에 대한 가정에 의존하지 않아 다양한 환경으로의 일반화를 가능하게 한다.
• 시스템은 KITTI 및 옥스포드 멀티모션 데이터셋의 스테레오 영상 시퀀스를 사용하여 훈련 및 평가되며, 희박한 특징과 2D 검출 결과만을 사용한다.

실험 결과

연구 질문

• RQ1 일반적인 목적의 시각 올로메트리 시스템이 환경 특화 사전 지식 없이도 정확한 자세 운동 추정과 동적 물체 추적을 달성할 수 있는가?
• RQ2 희박한 2D 검출 결과와 3D 지점들만을 사용하여, 이동하는 강체 물체의 온라인 군집화를 어떻게 강건하게 달성할 수 있는가?
• RQ3 의미적, 공간적, 운동적 특징을 이질적 CRF에 통합할 경우, 동적 환경 이해에 어떤 영향을 미치는가?
• RQ4 실시간 시스템이 온라인 처리임에도 불구하고, 배치 최적화 또는 전용 방법 수준의 올로메트리 및 동적 궤적 복원 성능을 달성할 수 있는가?

주요 결과

• ClusterVO는 KITTI 데이터셋에서 8 FPS로 작동하여, Chen 등(1.2초당 1프레임)과 같은 방법보다 뚜렷이 빠르며, 실시간 시스템인 DynSLAM과도 효율성이 유사하다.
• KITTI 데이터셋에서 ClusterVO는 자세 운동에 대해 0.52m의 번역 오차(ATE)와 0.19rad의 회전 오차(RPE)를 기록하여 최신 기술 수준의 방법들과 유사한 성능을 달성한다.
• 동적 물체 추적 성능 측면에서, ClusterVO는 KITTI '중간' 카테고리에서 49.65%의 AP(Average Precision)를 기록하여, DynSLAM(47.16%)을 능가하며, 검출 누락에 대해서도 강건함을 입증한다.
• 절단 실험 결과, CRF에 3D 기하학적 및 의미적 특징을 추가하면 2D 전용 CRF 대비 군집 운동 ATE가 45.8% 감소함을 확인하여, 다중 모odal 통합의 효과를 입증한다.
• 옥스포드 멀티모션 데이터셋에서도 경쟁적인 성능을 기록하였으며, 자세 운동 ATE는 0.61m, 군집 운동 ATE는 0.13m로, 배치 최적화된 ClusterSLAM에 비해 성능이 근접함을 확인하였다.
• 시각화 결과는 이질적 CRF가 잘못 분류된 지점들을 효과적으로 걸러내어 군집 일관성과 궤적 추정 정확도를 향상시킴을 확인한다.