[논문 리뷰] 3D Bounding Box Estimation Using Deep Learning and Geometry

Arsalan Mousavian, Dragomir Anguelov외 2명|arXiv (Cornell University)|2016. 12. 01.

Advanced Neural Network Applications참고 문헌 25인용 수 22

한 줄 요약

이 논문은 단일 이미지에서 3D 경계 상자 추정을 위해 새로운 MultiBin 손실을 사용하여 3D 객체 방향과 치수를 회귀하고, 2D 경계 상자에서 유도된 기하 제약 조건과 결합함으로써 3D 경계 상자를 추정하는 딥러닝 방법을 제안한다. 이 방법은 KITTI 및 Pascal 3D+ 벤치마크에서 기존의 복잡한 세그멘테이션 또는 3D 모델을 사용하는 방법들을 능가하는 최신 기술 성능을 달성한다.

ABSTRACT

We present a method for 3D object detection and pose estimation from a single image. In contrast to current techniques that only regress the 3D orientation of an object, our method first regresses relatively stable 3D object properties using a deep convolutional neural network and then combines these estimates with geometric constraints provided by a 2D object bounding box to produce a complete 3D bounding box. The first network output estimates the 3D object orientation using a novel hybrid discrete-continuous loss, which significantly outperforms the L2 loss. The second output regresses the 3D object dimensions, which have relatively little variance compared to alternatives and can often be predicted for many object types. These estimates, combined with the geometric constraints on translation imposed by the 2D bounding box, enable us to recover a stable and accurate 3D object pose. We evaluate our method on the challenging KITTI object detection benchmark both on the official metric of 3D orientation estimation and also on the accuracy of the obtained 3D bounding boxes. Although conceptually simple, our method outperforms more complex and computationally expensive approaches that leverage semantic segmentation, instance level segmentation and flat ground priors and sub-category detection. Our discrete-continuous loss also produces state of the art results for 3D viewpoint estimation on the Pascal 3D+ dataset.

연구 동기 및 목표

• 실세계 로봇 응용에서 단일 RGB 이미지로부터 정확한 3D 객체 검출 및 자세 추정을 해결하기 위해.
• 3D 방향 추정을 넘어서 안정적인 3D 객체 치수와 기하 제약 조건을 통합하여 3D 경계 상자 추정을 향상시키기 위해.
• 복잡한 사전 처리, 3D 형태 모델, 또는 인스턴스 세그멘테이션을 요구하지 않는 경량이며 종단 간(end-to-end) 딥러닝 프레임워크를 개발하기 위해.
• 3D IoU 및 중심 거리와 같은 3D 방향 정확도를 넘는 새로운 지표를 포함하여 KITTI 및 Pascal 3D+에서 방법을 평가하기 위해.
• 회귀 파라미터 선택이 3D 자세 추정의 견고성과 정확도에 미치는 영향을 조사하기 위해.

제안 방법

• 새로운 MultiBin 이산-연속 손실 함수를 사용하여 3D 객체의 방향과 치수를 회귀하는 딥 컨volution 신경망(CNN)을 훈련한다. 이 손실 함수는 표준 L2 손실보다 우수한 성능을 보인다.
• 예측된 방향, 치수, 그리고 2D 객체 검출 상자에서 유도된 기하 제약 조건을 조합하여 3D 경계 상자를 재구성함으로써, 3D 상자가 2D 창 안에 단단히 투영되도록 보장한다.
• MultiBin 손실은 방향 공간을 박자로 나누고 이산 분류와 연속 회귀를 결합함으로써, 더 안정적이고 정확한 방향 추정을 가능하게 한다.
• 이 방법은 3D 객체 모델, 의미 세그멘테이션, 또는 진짜 3D 형태를 필요로 하지 않으며, 오직 2D 검출 상자와 이미지 특징에 의존한다.
• 네트워크는 기울기 기반의 시각적 중요도 맵을 통해 작업에 특화된 주의를 학습하며, 라이트, 타이어, 사이드 미러와 같은 핵심 시각적 부분을 애너테이션된 키포인트 없이 식별한다.
• 제거 분석을 통해 중심 투영 및 거리 회귀와 같은 대안적 회귀 표현 방식을 평가하였으며, 치수를 사용할 경우에 비해 오차에 더 민감한 것으로 나타났다.

실험 결과

연구 질문

• RQ1 3D 모델이나 세그멘테이션에 의존하는 복잡한 방법들보다, 3D 방향과 치수를 회귀하는 단순한 딥러닝 프레임워크가 더 뛰어난 성능을 낼 수 있는가?
• RQ2 제안된 MultiBin 손실이 표준 L2 회귀에 비해 3D 방향 추정 정확도를 크게 향상시키는가?
• RQ3 3D 중심 좌표 대신 객체 치수를 회귀하는 것이 3D 경계 상자 추정의 견고성과 정확도에 어떤 영향을 미치는가?
• RQ4 학습된 3D 특징과 함께 2D 경계 상자에서 유도된 기하 제약 조건이 3D 자세 복원에 얼마나 기여하는가?
• RQ5 사람이 애너테이션한 키포인트에 의존하지 않고도 모델이 의미 있는 작업에 특화된 시각적 주의를 학습할 수 있는가?

주요 결과

• 제안된 방법은 KITTI 데이터셋에서 3D 경계 상자 추정 성능을 최신 기술 수준으로 달성하였으며, 의미 세그멘테이션, 인스턴스 수준 세그멘테이션, 평탄한 지면 사전 지식을 사용하는 복잡한 방법들을 능가한다.
• KITTI에서, 완전히 연결된 신경망의 너비가 1024일 경우 3D IoU 점수가 0.9861에 도달하여 기준 L2 손실 및 이전 방법들보다 크게 향상되었다.
• MultiBin 손실은 Pascal 3D+에서 시점 추정에 대해 π/6 임계값에서 0.81의 정확도를 달성하여 새로운 최신 기술 성능을 수립했다.
• 이 방법은 평균 3D 상자 중심 오차를 0.23미터로 줄였으며, 이는 이전 방법들 대비 3D IoU를 10퍼센트 이상 향상시켜 더 뛰어난 기하 정확도를 입증했다.
• 제거 분석 결과, 중심 투영 및 거리 회귀보다 치수를 회귀하는 것이 더 안정적이고 정확한 3D 상자를 생성함에 있어 변동성이 낮고 물리적으로 더 타당하다는 점에서 유리하다.
• 시각화 결과는 네트워크가 라이트, 타이어, 사이드 미러와 같이 의미적으로 유의미한 부분을 애너테이션된 키포인트 없이도 주목하는 것을 확인했다.