[논문 리뷰] Learning Object-specific Distance from a Monocular Image

Jing Zhu, Yi Fang외 4명|arXiv (Cornell University)|2019. 09. 09.

Video Surveillance and Tracking Methods참고 문헌 33인용 수 4

한 줄 요약

이 논문은 자율주행에서 단일 RGB 영상에서 객체별 거리 추정을 위한 최초의 엔드 투 엔드 딥러닝 모델을 제안한다. 기반 모델은 ROI 풀링을 사용하고, 정교화된 향상 모델은 관건점 회귀기와 투영 손실을 갖추어 카메라에 가까운 영역에서의 정확도를 향상시킨다. 이 방법은 확장된 KITTI 및 nuScenes (mini) 데이터셋에서 전통적인 IPM 및 SVR 기준선을 능가하며, 특히 곡선 도로와 장거리 객체에서 낮은 RMSE와 높은 정확도를 달성한다.

ABSTRACT

Environment perception, including object detection and distance estimation, is one of the most crucial tasks for autonomous driving. Many attentions have been paid on the object detection task, but distance estimation only arouse few interests in the computer vision community. Observing that the traditional inverse perspective mapping algorithm performs poorly for objects far away from the camera or on the curved road, in this paper, we address the challenging distance estimation problem by developing the first end-to-end learning-based model to directly predict distances for given objects in the images. Besides the introduction of a learning-based base model, we further design an enhanced model with a keypoint regressor, where a projection loss is defined to enforce a better distance estimation, especially for objects close to the camera. To facilitate the research on this task, we construct the extented KITTI and nuScenes (mini) object detection datasets with a distance for each object. Our experiments demonstrate that our proposed methods outperform alternative approaches (e.g., the traditional IPM, SVR) on object-specific distance estimation, particularly for the challenging cases that objects are on a curved road. Moreover, the performance margin implies the effectiveness of our enhanced method.

연구 동기 및 목표

• 자율주행에서 단일 영상에서 객체별 거리 추정 문제에 대해 아직 탐색되지 않은 과제를 해결하기 위해.
• 장거리 또는 측면을 햖을 경우 실패하고 곡선 도로에서 제대로 작동하지 않는 전통적인 역perspective 매핑(IPM)의 한계를 극복하기 위해.
• 추론 시 카메라 파라미터에 의존하지 않고도 직접적으로 객체 거리를 예측할 수 있는 딥러닝 기반 접근법을 개발하기 위해.
• 새로운 관건점 기반 투영 손실을 통해 카메라에 가까운 객체에 대해 정확도를 향상시키기 위해.
• LiDAR와 카메라 캘리브레이션을 기반으로 한 진짜 거리값을 도출하여 KITTI 및 nuScenes (mini) 객체 검출 애너테이션에 추가함으로써 새로운 벤치마크 데이터셋을 구축하기 위해.

제안 방법

• RGB 영상에서 특징을 추출하기 위해 CNN(예: VGG16 또는 ResNet50)을 사용하는 기반 모델을 제안하고, 객체별로 고정된 크기의 특징을 생성하기 위해 ROI 풀링을 적용한 후, 완전히 연결된 신경망을 통해 거리를 회귀한다.
• 3D 객체의 관건점 2D 이미지 좌표(X, Y)를 예측하는 관건점 회귀기를 포함한 향상된 모델을 도입하며, 예측된 Z-거리와 함께 3D 점을 구성한다.
• 카메라 투영 행렬을 사용하여 예측된 3D 관건점이 실제 2D 관건점 위치로 다시 투영되도록 하는 투영 손실을 정의함으로써 공간 일관성을 향상시킨다.
• 거리 회귀 손실과 투영 손실의 조합을 사용하여 모델을 엔드 투 엔드로 훈련시키며, 분류기 브랜치를 통해 카테고리 구분 특징을 학습한다.
• 카메라 파라미터는 훈련 시에만 사용하여 투영 손실을 계산하고, 추론 시에는 카메라 파라미터를 사용하지 않아 다양한 시각 시스템으로의 일반화를 가능하게 한다.
• LiDAR 포인트 클라우드와 카메라 파라미터를 기반으로 객체 거리를 계산하여 KITTI 및 nuScenes (mini) 객체 검출 애너테이션에 진짜 거리값을 추가함으로써 확장된 데이터셋을 구축한다.

실험 결과

연구 질문

• RQ1 추론 시 카메라 파라미터에 의존하지 않고도 단일 RGB 영상에서 객체별 거리를 직접 예측할 수 있는 딥러닝 모델이 가능한가?
• RQ2 관건점 회귀기와 투영 손실을 포함함으로써 카메라에 가까운 객체에 대해 거리 추정 정확도가 어떻게 향상되는가?
• RQ3 기존 IPM이 실패하는 곡선 도로나 장거리 객체 검출과 같은 도전적인 상황에서도 제안된 모델이 일반화 가능한가?
• RQ4 전통적 기준선인 IPM 및 SVR과 비교해 모델의 정량적 성능(거리 추정 정확도 및 추론 속도)은 어떠한가?
• RQ5 분류기 추가가 모델의 객체 거리 추정 능력에 얼마나 기여하는가?

주요 결과

• KITTI 데이터셋에서 향상된 모델은 δ1 점수 0.629를 기록하여 기반 모델(0.587)과 SVR(0.308)를 크게 능가하며, 관건점 투영 손실의 효과를 입증한다.
• nuScenes (mini) 데이터셋에서 향상된 모델은 δ1 0.535와 RMSE 10.511을 달성하여 IPM(δ1: 0.441, RMSE: 249.849)과 SVR(δ1: 0.308, RMSE: 18.480)를 모두 능가한다.
• 향상된 모델은 KITTI에서 RMSE 로그를 기반 모델의 0.512에서 0.314로 감소시켜 장거리 거리 추정 성능 향상을 입증한다.
• VGG16를 사용할 경우 추론 시간은 16.2ms/이미지로, IPM(33.9ms)보다 두 배 빠르고 SVR(12.1ms)보다도 빠르며, 실시간 적용 가능성은 매우 높다.
• 분류기를 포함함으로써 평균 상대 오차(AR)는 기반 모델(분류기 없음)의 0.658에서 기반 모델(분류기 있음)의 0.311로 향상되어 카테고리 인식 특징 학습의 가치를 입증한다.
• 정성적 결과는 IPM이 실패하는 40미터 이상의 거리나 곡선 도로에서도 모델이 정확하게 거리를 추정함을 보여주며, 근접한 객체에 대해서도 높은 정확도를 유지함을 확인한다.