[논문 리뷰] Reconstructing Vechicles from a Single Image: Shape Priors for Road Scene Understanding

J. Krishna Murthy, G. V. Sai Krishna외 2명|arXiv (Cornell University)|2016. 09. 29.

Advanced Vision and Imaging참고 문헌 15인용 수 11

한 줄 요약

이 논문은 CNN-카스케이드를 통해 학습된 형태 사전과 관점 검출을 이용해 단일 RGB 이미지에서 3D 차량 형태와 자세를 재구성하는 형태 인지 조정 프레임워크를 제안한다. 자세와 형태 추정을 분리하고 IRLS 기반의 강력한 최적화를 적용하여 상태 기반 성능을 달성하며, 단안 및 스테레오 방법 대비 KITTI 벤치마크에서 평균 절대 자세 오차를 최대 27% 감소시킨다.

ABSTRACT

We present an approach for reconstructing vehicles from a single (RGB) image, in the context of autonomous driving. Though the problem appears to be ill-posed, we demonstrate that prior knowledge about how 3D shapes of vehicles project to an image can be used to reason about the reverse process, i.e., how shapes (back-)project from 2D to 3D. We encode this knowledge in \emph{shape priors}, which are learnt over a small keypoint-annotated dataset. We then formulate a shape-aware adjustment problem that uses the learnt shape priors to recover the 3D pose and shape of a query object from an image. For shape representation and inference, we leverage recent successes of Convolutional Neural Networks (CNNs) for the task of object and keypoint localization, and train a novel cascaded fully-convolutional architecture to localize vehicle \emph{keypoints} in images. The shape-aware adjustment then robustly recovers shape (3D locations of the detected keypoints) while simultaneously filling in occluded keypoints. To tackle estimation errors incurred due to erroneously detected keypoints, we use an Iteratively Re-weighted Least Squares (IRLS) scheme for robust optimization, and as a by-product characterize noise models for each predicted keypoint. We evaluate our approach on autonomous driving benchmarks, and present superior results to existing monocular, as well as stereo approaches.

연구 동기 및 목표

• 자율주행에서 단일 RGB 이미지로부터 3D 차량 재구성의 불안정 문제를 해결하기 위해.
• 2D 외관에서 3D 구조를 추론하기 위해 인간과 유사한 3D 차량 형태 투영에 대한 사전 지식을 활용하기 위해.
• 정확도와 강건성을 향상시키기 위해 자세와 형태 추정을 분리하기 위해.
• 부정확한 관절점 검출 및 부분 가림 상황을 고려해 강력한 최적화 프레임워크를 통해 가려진 관절점을 처리하기 위해.
• 향후 차량 형태 추정 연구를 위한 새로운 관절점 레이블이 부여된 데이터셋을 공개하기 위해.

제안 방법

• 차량의 관절점 레이블이 부여된 소규모 데이터셋에서 형태 사전을 학습하여 평면성 및 대칭성과 같은 일반적인 3D 기하 제약 조건을 인코딩한다.
• 높은 정확도로 RGB 이미지 내 차량 관절점을 국소화하기 위해 새로운 계단식 완전 컨volution 신경망(CNN-cascade)을 활용한다.
• 粗-세밀 조정을 수행한다: 먼저 자세 조정을 통해 평균 형태 사전을 이미지와 정렬하고, 그 다음 기하 제약 조건을 사용해 형태 조정을 통해 3D 형태를 정밀하게 보정한다.
• 반복 가중 최소 제곱(IRLS) 기반의 방법을 사용해 잘못된 관절점 검출을 낮게 평가하고 각 관절점에 대한 노이즈 모델을 강력하게 추정한다.
• 재투영 오차를 최소화하면서도 학습된 형태 사전과 객체 특화 기하 제약 조건을 만족하는 3D 형태를 최적화한다.
• qualitative 평가를 위해 추정된 와이어프레임에 가장 가까운 CAD 모델을 하우스도르프 거리 기반으로 렌더링한다.

실험 결과

연구 질문

• RQ1 소규모 레이블이 부여된 데이터셋에서 학습된 형태 사전이 단일 이미지에서 정확한 3D 차량 재구성을 가능하게 할 수 있는가?
• RQ2 자세와 형태 추정을 어떻게 분리하여 단안 3D 재구성에서 강건성과 정확도를 향상시킬 수 있는가?
• RQ3 IRLS 기반 최적화 기법이 잘못된 관절점 검출이 3D 형태 추정에 미치는 영향을 어느 정도 줄일 수 있는가?
• RQ4 제안된 방법이 표준 자율주행 벤치마크에서 기존의 단안 및 스테레오 접근 방식을 초월할 수 있는가?
• RQ5 CNN-카스케이드는 특히 가림 상황에서 관절점 국소화에 얼마나 효과적인가?

주요 결과

• 제안된 방법은 KITTI 벤치마크의 쉬운 분할에서 평균 절대 자세 오차 8.79°, 중간 분할에서 12.57°, 어려운 분할에서 16.19°를 기록하며, 기존의 단안 및 스테레오 방법 대비 최대 27% 향상된 성능을 달성한다.
• 형태 조정 단계는 특히 초기화 오차가 높은 드문 드문한 부품(예: 오른쪽 앞바퀴 중심)의 관절점 정밀도(APK)를 크게 향상시킨다.
• 자세 조정만으로도 평균 APK가 향상되지만, 형태 조정을 통해 모든 부품에서 일관된 향상이 이루어져 형태 보정의 필요성을 검증한다.
• IRLS 재가중 기법은 ASPnP와 같은 표준 자세 추정 파이프라인에 적용했을 때 정확도를 90% 이상 향상시킨다.
• CNN-카스케이드는 GPU에서 인퍼런스당 200.79 ms의 런타임을 기록하여 자율주행 응용 분야에서 실시간 적용 가능성을 확보한다.
• 전체 파이프라인은 자세 조정(1회당 9.97 ms), 형태 조정(1회당 52 ms)을 CPU에서 효율적으로 실행하여 실시간 배포를 지원한다.