[논문 리뷰] 3D Object Proposals using Stereo Imagery for Accurate Object Class Detection

Xiaozhi Chen, Kaustav Kundu외 4명|arXiv (Cornell University)|2016. 08. 27.

Advanced Neural Network Applications참고 문헌 35인용 수 48

한 줄 요약

이 논문은 자율주행에서 3D 객체 검출 성능을 향상시키기 위해 스테레오 영상 기반 3D 객체 제안 방법을 제안한다. 깊이 정보를 반영한 특징, 객체 크기 사전 지식, 지면 평면 제약 조건을 최소화하는 에너지 함수를 통해 고재현율의 3D 제안을 생성하며, 이를 컨볼루션 신경망(CNN)에 입력하면 KITTI 벤치마크에서 기존 RGB 및 RGB-D 방법보다 최대 25% 높은 재현율을 기록하고, LIDAR 데이터와 조합했을 때 3D 검출 정확도가 최고 수준에 이르게 된다.

ABSTRACT

The goal of this paper is to perform 3D object detection in the context of autonomous driving. Our method first aims at generating a set of high-quality 3D object proposals by exploiting stereo imagery. We formulate the problem as minimizing an energy function that encodes object size priors, placement of objects on the ground plane as well as several depth informed features that reason about free space, point cloud densities and distance to the ground. We then exploit a CNN on top of these proposals to perform object detection. In particular, we employ a convolutional neural net (CNN) that exploits context and depth information to jointly regress to 3D bounding box coordinates and object pose. Our experiments show significant performance gains over existing RGB and RGB-D object proposal methods on the challenging KITTI benchmark. When combined with the CNN, our approach outperforms all existing results in object detection and orientation estimation tasks for all three KITTI object classes. Furthermore, we experiment also with the setting where LIDAR information is available, and show that using both LIDAR and stereo leads to the best result.

연구 동기 및 목표

• 자율주행 환경에서 정확한 3D 객체 검출을 위해 KITTI 벤치마크에서 기존 2D 및 3D 객체 제안 방법의 낮은 재현율 문제를 해결하기 위해.
• 깊이 정보, 지면 평면 맥락, 객체 사전 지식을 통합한 고품질의 3D 경계 상자 제안을 생성하기 위해 스테레오 영상을 활용하여 3D 객체 검출 성능을 향상시키기 위해.
• 외관, 깊이, 맥락적 특징을 모두 활용하여 3D 경계 상자 좌표와 객체 자세를 동시에 회귀하는 딥 러닝 기반 검출 네트워크를 개발하기 위해.
• 스테레오와 LIDAR 데이터를 융합하여 3D 검출 정확도를 향상시키는 효과를 평가하기 위해, 특히 소형, 부분 가림, 먼 거리에 있는 객체에 대해.
• 깊이 정보를 반영한 특징과 구조적 학습이 기존 RGB 또는 RGB-D 방법을 초월하여 제안 품질과 검출 성능을 향상시키는지 입증하기 위해.

제안 방법

• 3D 객체 제안 생성을 에너지 최소화 문제로 공식화하며, 객체 크기 사전 지식, 지면 평면 배치, 포인트 클라우드 밀도, 자유 공간, 지면까지의 거리와 같은 깊이 정보를 반영한 특징을 통합한다.
• 모든 후보 3D 경계 상자에서 특징을 일정 시간 내에 계산하기 위해 3D 정수 이미지를 사용하여 효율적인 추론을 가능하게 한다.
• 제안 품질을 최적화하기 위해 에너지 함수의 구성 요소에 대해 클래스별 가중치를 학습하기 위해 구조적 서포트 벡터 머신(SVM)을 활용한다.
• 외관(RGB)과 깊이(HHA) 특징을 모두 사용하여 3D 경계 상자 좌표와 객체 자세를 동시에 회귀하는 이중 스트림 3D 검출 CNN을 학습한다.
• 특징 표현을 향상시켜 도전적인 객체 클래스의 검출 정확도를 높이기 위해 맥락적 브랜치를 네트워크에 통합한다.
• 스테레오와 LIDAR 융합을 확장하여, 특히 어려운 케이스에서 정밀한 깊이 정보를 제공하는 LIDAR를 활용한 하이브리드 스테레오-LIDAR 융합을 구현한다.

실험 결과

연구 질문

• RQ1 기존 RGB 및 RGB-D 방법에 비해 스테레오 기반 3D 객체 제안이 KITTI 벤치마크에서 재현율을 크게 향상시킬 수 있는가?
• RQ2 포인트 밀도, 자유 공간, 지면 근접도와 같은 깊이 정보를 반영한 특징을 통합할 경우 3D 제안 품질에 어떤 영향을 미치는가?
• RQ3 3D 경계 상자와 객체 자세를 동시에 회귀하는 CNN이 별도의 검출 및 회귀 파이프라인에 비해 얼마나 더 우수한 성능을 내는가?
• RQ4 스테레오와 LIDAR 데이터를 융합할 경우, 특히 가림되거나 먼 거리에 있는 객체에 대해 3D 검출 정확도에 어떤 영향을 미치는가?
• RQ5 지면 평면 추정 정확도가 전체 검출 성능에 기여하는 정도는 얼마이며, 스테레오와 LIDAR 모odalities 간에 이 기여도는 어떻게 다를까?

주요 결과

• 제안된 3D 객체 제안 방법은 KITTI 벤치마크에서 2,000개의 제안을 사용할 경우 기존 최고 수준의 RGB-D 방법인 MCG-D보다 25% 높은 재현율을 기록한다.
• 3D 제안과 이중 스트림 CNN을 조합한 전체 3D 검출 파이프라인은 KITTI 벤치마크에서 차량(Car), 자전거 기사(Cyclist), 보행자(Pedestrian)의 세 가지 객체 클래스 모두에서 모든 발표된 결과를 초월한다.
• 스테레오 데이터를 사용할 경우 이중 스트림 RGB-HHA CNN 모델이 RGB 전용 모델 대비 약 10% 향상된 3D 검출 성능을 기록하며, 하이브리드 스테레오-LIDAR 데이터를 사용할 경우 5% 향상된다.
• 오라클 기반 지면 평면 추정은 LIDAR 기반 접근 방식의 2D AP를 9% 향상시키고 3D AP를 8% 향상시키며, 이는 개선된 지면 평면 추정이 성능 향상에 기여할 수 있음을 시사한다.
• 하이브리드 스테레오-LIDAR 접근 방식은 Moderate 및 Hard 설정에서 가장 높은 3D 검출 정확도를 기록하여, 밀도 있는 스테레오와 정밀한 LIDAR 깊이 정보의 상호 보완적 강점을 입증한다.
• 검출 네트워크의 맥락적 브랜치는 차량 검출의 2D AP와 AOS를 향상시키지만, 훈련 데이터가 제한된 보행자 및 자전거 기사에 대해서는 효과가 일관되지 않다.