[논문 리뷰] Visual-Inertial-Semantic Scene Representation for 3-D Object Detection

Jingming Dong, Xiaohan Fei외 1명|arXiv (Cornell University)|2016. 06. 13.

Robotics and Sensor-Based Localization참고 문헌 70인용 수 6

한 줄 요약

이 논문은 실시간이며 인과적인 3차원 객체 검출 시스템을 제안하며, 시각적, 관성, 의미적 데이터를 재귀 베이지안 프레임워크를 통해 융합한다. SLAM 기반 기하 표현과 CNN을 통한 가능도 추정을 조합하고, 관성 센서를 활용해 클래스별 스케일 및 방향성 사전 지식을 제공함으로써, 지속적인 객체 추적, 음영 처리 및 재검출이 가능해져, 자율 주행 및 로봇 분야와 같은 동적인 환경에서 강력한 3차원 장면 이해를 실현한다.

ABSTRACT

We describe a system to detect objects in three-dimensional space using video and inertial sensors (accelerometer and gyrometer), ubiquitous in modern mobile platforms from phones to drones. Inertials afford the ability to impose class-specific scale priors for objects, and provide a global orientation reference. A minimal sufficient representation, the posterior of semantic (identity) and syntactic (pose) attributes of objects in space, can be decomposed into a geometric term, which can be maintained by a localization-and-mapping filter, and a likelihood function, which can be approximated by a discriminatively-trained convolutional neural network. The resulting system can process the video stream causally in real time, and provides a representation of objects in the scene that is persistent: Confidence in the presence of objects grows with evidence, and objects previously seen are kept in memory even when temporarily occluded, with their return into view automatically predicted to prime re-detection.

연구 동기 및 목표

• 기존의 이미지 기반 검출기의 한계를 보완하기 위해, 객체를 물리적 공간 내 지속적인 실체로 간주하는 3차원 객체 검출기를 설계하는 것.
• 장기적인 객체 기억을 가능하게 하여, 음영 기간 동안에도 객체 존재 신뢰도를 유지하고, 장면 기하학적 특징을 바탕으로 재등장 예측을 수행하는 것.
• 관성 센서를 활용해 전역 스케일 및 방향성 사전 지식을 제공함으로써, 드론 및 이동형 로봇과 같은 중력 기준선에 맞지 않는 환경에서 검출의 강건성을 향상시키는 것.
• 딥 러닝 기반 검출과 재귀 베이지안 추론을 통합하여 3차원 공간 내 객체 속성의 최소 충분 통계량 표현을 확보하는 것.
• 기성의 컴포넌트(예: 사전 학습된 CNN 및 EKF 기반 SLAM)를 사용해 실시간 성능를 달성함으로써, 이동형 플랫폼에의 구현 가능성을 확보하는 것.

제안 방법

• 시스템은 객체 속성(의미적 정체성 및 문법적 자세)의 사후 분포를 최소 충분 통계량으로 모델링하며, 이를 기하학적 항목(스테이트를 SLAM이 유지)과 가능도 항목(모든 이미지에서 CNN이 계산)으로 분해한다.
• 확장된 칼만 필터를 사용한 재귀 베이지안 갱신을 수행하며, CNN은 단일 이미지에서 객체 존재 가능도를 평가하고, 필터는 상태를 시간에 따라 전파한다.
• 관성 측정치는 클래스별 스케일 사전 지식을 부여하고, 전역 방향성 기준을 제공함으로써 3차원 객체 검출의 모호성을 줄인다.
• 객체 가시성 및 음영 여부는 3차원 객체 상태를 현재 이미지 평면에 투영하고 가능도 점수를 평가함으로써 예측한다. 음영된 객체는 비활성 상태로 표시되지만 기억된다.
• 다중 객체 가설을 처리하기 위해 혼합 칼만 필터를 사용하며, 이는 새로운 증거를 이전에 저장된 객체 상태와 매칭함으로써 재검출을 가능하게 한다.
• 객체가 검출되면 추정된 3차원 자세에 맞춰 CAD 모델을 렌더링하여 지속적인 3차원 표현을 제공하며, 이는 주행 및 장면 이해를 지원한다.

실험 결과

연구 질문

• RQ1 누적된 증거와 장면 기하학적 특징을 바탕으로, 음영 기간 동안에도 객체에 대한 지속적인 인식을 유지할 수 있는 3차원 객체 검출기는 어떻게 설계할 수 있는가?
• RQ2 관성 센서는 중력 기준선에 맞지 않는 환경에서 스케일 및 방향성 사전 지식을 제공함으로써 3차원 객체 검출에 어떤 역할을 할 수 있는가?
• RQ3 딥 러닝 기반 검출과 재귀 베이지안 추론의 융합은 장기 기억 및 가시성 예측 기능을 갖춘 실시간, 인과적인 3차원 객체 검출을 가능하게 할 수 있는가?
• RQ4 3차원 공간 내에서 객체 속성의 최소 충분 통계량 표현을 어떻게 정의하고 유지할 수 있는가?
• RQ5 기초적인 3차원 형태 모델(예: 경계 상자)은 어떻게 복잡한 장면에서 가시성 예측 및 재검출을 지원할 수 있는가?

주요 결과

• 시스템은 사전 학습된 CNN 및 EKF 기반 SLAM과 같은 기성 컴포넌트를 사용해 10~30 프레임/초의 실시간 성능를 달성하며, 이는 이동형 플랫폼에의 구현 가능성을 보여준다.
• 객체는 음영 기간 동안도 지속적으로 추적된다: 증거가 축적될수록 신뢰도가 증가하고, 재등장 시 자동으로 재검출이 준비된다. KITTI-00 시퀀스에서 이를 입증하였다.
• 관성 센서를 통해 클래스별 스케일 사전 지식을 제공함으로써, 하향식 제안에서 발생하는 오류 검출을 줄이고, 중력 기준선에 맞지 않는 환경에서의 검출 정확도를 향상시켰다.
• 시스템은 음영 후 객체 재등장을 성공적으로 예측하였다. 실내 시퀀스에서는 모니터 뒤에서 다시 나타나는 의자가, 대규모 주행 시퀀스에서는 벽을 둘러싸고 있는 측면 도로의 차량이 추적되는 것으로 확인되었다.
• 가시성 예측은 효과적이다: 현재 보이지 않는 객체는 점선 상자로 표시되며 가능도 점수가 기각된 상태로 표현된다. 이는 시스템이 음영을 고려한 추론 능력을 갖추고 있음을 확인한다.
• CNN 기반 검출과 재귀 베이지안 필터링의 통합은 플리커링을 방지하고 장기적인 장면 이해를 지원하는 지속적이고 기억 기반의 객체 표현을 가능하게 하였다.