[논문 리뷰] Monocular 3D Object Detection and Box Fitting Trained End-to-End Using Intersection-over-Union Loss

Eskil Jörgensen, Christopher Zach외 1명|arXiv (Cornell University)|2019. 06. 19.

Advanced Neural Network Applications참고 문헌 35인용 수 65

한 줄 요약

SS3D를 소개하는 단일 단계 단안 3D 검출기로 surrogate 타깃을 회귀하고 differentiable 옵티마이저로 3D 박스를 맞추며, 3D IoU 손실로 엔드투엔드 학습되어 실시간 속도(~20 FPS)로 KITTI의 단안 결과를 최첨단으로 달성한다.

ABSTRACT

Three-dimensional object detection from a single view is a challenging task which, if performed with good accuracy, is an important enabler of low-cost mobile robot perception. Previous approaches to this problem suffer either from an overly complex inference engine or from an insufficient detection accuracy. To deal with these issues, we present SS3D, a single-stage monocular 3D object detector. The framework consists of (i) a CNN, which outputs a redundant representation of each relevant object in the image with corresponding uncertainty estimates, and (ii) a 3D bounding box optimizer. We show how modeling heteroscedastic uncertainty improves performance upon our baseline, and furthermore, how back-propagation can be done through the optimizer in order to train the pipeline end-to-end for additional accuracy. Our method achieves SOTA accuracy on monocular 3D object detection, while running at 20 fps in a straightforward implementation. We argue that the SS3D architecture provides a solid framework upon which high performing detection systems can be built, with autonomous driving being the main application in mind.

연구 동기 및 목표

• 로봇공학/자율주행에서 저비용 인지용을 위한 단안 3D 물체 탐지의 동기를 부여한다.
• 정확한 3D 박스 피팅을 위한 서퍼레이트 3D 표현을 회귀하는 경량의 단일 단계 CNN을 제안한다.
• IoU 손실을 이용한 비선형 최소제곱 3D 박스 옵티마이저를 통해 엔드투엔드 학습이 가능하도록 한다.
• 모델링 및 비교를 통해 불확실성(동분산 vs 이분산)을 회귀 신뢰도 향상에 활용한다.
• 최신의 단안 KITTI 성능과 실시간 동작을 시연한다.

제안 방법

• 단일 단계 CNN (SS3D)는 탐지당 26개의 surrogate 회귀 타깃과 클래스 점수를 출력한다.
• 각 탐지에 대해 비최대 억제 후 병렬 비선형 최소제곱 3D 박스 피팅을 수행한다.
• 3D 박스 매개변수는 타깃별 불확실성을 반영하는 가중치를 가진 가중 최소제곱 목표 E(b;y)를 최소화하여 추정한다.
• 3D IoU 손실(IoU3D)을 이용한 옵티마이저를 통한 역전파로 엔드투엔드 학습한다.
• 세 가지 학습 변형: (i) 회귀를 위한 동분산 노이즈, (ii) 각 출력의 이분산 불확실성, (iii) IoU 손실을 통한 최적화를 역전파한다.
• Proxy targets에는 상대 2D 박스 좌표, 거리 d, 관측 각도(sin, cos), 로그 차원 타깃, 픽셀-상대 타깃으로서의 3D 코너 투영이 포함된다.

실험 결과

연구 질문

• RQ1 단일 단계 단안 검출기가 탐지 후 3D 박스 피팅을 위해 surrogate 3D 표현을 회귀하고 3D 박스를 피팅함으로써 경쟁력 있는 3D 탐지를 얻을 수 있는가?
• RQ2 출력별 불확실성(동분산/이분산)을 모델링하는 것이 3D 박스 피팅과 전체 탐지 정확도를 향상시키는가?
• RQ3 미분 가능 3D 박스 옵티마이저를 통한 엔드투엔드 학습이 KITTI의 단안 3D 객체 탐지에 유익한가?
• RQ4 SS3D는 KITTI의 3D IoU, AP, ALP에서 기존의 단안 및 스테레오 방법과 어떻게 비교되며 어떤 강점이 있는가?
• RQ5 실시간 단안 인지에서 SS3D의 속도와 정확도 간의 트레이드오프는 무엇인가?

주요 결과

방법	시간	쉬움	보통	어려움
0.048s	11.54 / 8.66	11.07 / 7.35	10.12 / 5.98
0.051s	13.90 / 9.55	12.05 / 8.07	11.64 / 6.99
0.051s	14.52 / 9.45	13.15 / 8.42	11.85 / 7.34

• SS3D는 KITTI에서 발표된 단안 방법들 중 단안 3D 탐지 성능에서 최첨단을 달성한다.
• 세 가지 방법은 점진적인 이득을 보였고, 방법 3(엔드투엔드 IoU 학습)이 가장 우수하게 성능을 발휘했다.
• 추론 시간은 이미지당 약 0.051초로, 약 20 FPS 작동을 가능하게 한다.
• 학습된 불확실성은 타깃 유형과 정렬되며(예: 픽셀 공간 타깃에 대해 더 큰 분산, 거리 불확실성은 거리에 따라 증가).
• 3D 박스 옵티마이저를 통한 엔드투엔드 학습은 엔드투엔드가 아닌 학습에 비해 추가 개선을 제공한다.
• 스테레오 기준선과 비교할 때 SS3D는 KITTI 단안 평가에서 경쟁력 있으며 훨씬 더 빠르다.