[논문 리뷰] Vehicle Three-Dimensional Pose and Shape Estimation from Multiple Monocular Vision.

Wenhao Ding, Shuaijun Li외 4명|arXiv (Cornell University)|2018. 02. 10.

Robotics and Sensor-Based Localization참고 문헌 18인용 수 1

한 줄 요약

이 논문은 소규모 겹침 영역을 가진 다중 단안 영상에서 차량의 3D 자세와 형태를 추정하기 위한 새로운 방법을 제안한다. 컨volutional 네트워크(CNN)를 활용한 관건점 검출과 계층적 와이어프레임 제약(HWC)으로 향상된 교차 투영 최적화(CPO) 프레임워크를 사용한다. 제안된 방법은 시뮬레이션 및 실세계 환경에서 기존의 단안 및 스테레오 방법보다 뛰어난 정확도를 달성하여 지능형 교통 시스템에서의 강력한 차량 위치 추적을 가능하게 한다.

ABSTRACT

This paper proposes an accurate approach to estimate vehicles' 3D pose and shape from multi-view monocular images with a small overlap. This approach utilizes a state-of-the-art convolutional neural network (CNN) to detect vehicles' semantic keypoint in images and then introduces a Cross Projection Optimization (CPO) method to estimate the 3D pose accurately. During the iterative CPO process, it implements a new vehicle shape adjustment method named Hierarchical Wireframe Constraint (HWC). The approach is tested under both simulated and real-world scenes for performance verification. It's shown that this approach outperforms other existing monocular and stereo visual methods for vehicles' 3D pose and shape estimation. This approach provides new and robust solutions for accurate visual vehicle localization and it can be applied to the massive surveillance camera networks for intelligent transportation applications such as automatic driving assistance.

연구 동기 및 목표

• 복잡한 환경에서 겹침 영역이 적은 단안 영상에서 정확한 3D 차량 자세 및 형태 추정 문제를 해결한다.
• 소규모 겹침 영역과 형태의 모호성 문제를 다루는 데에 한계가 있는 기존의 단안 및 스테레오 방법의 한계를 극복한다.
• 감시 및 지능형 교통 시스템에 실용적으로 적용 가능한 강력한 프레임워크를 개발한다.
• 세분적 관건점 검출과 기하 최적화, 형태 제약을 통합하여 3D 위치 추정 정확도를 향상시킨다.

제안 방법

• 다중 시점 단안 영상에서 차량의 의미적 관건점을 검출하기 위해 최신 기술의 컨volutional 네트워크(CNN)를 활용한다.
• 다양한 시점 간 복원 오차를 최소화하여 반복적으로 3D 자세 추정을 개선하기 위해 교차 투영 최적화(CPO) 프레임워크를 적용한다.
• CPO 과정 중 차량 형태를 조정하기 위해 새로운 계층적 와이어프레임 제약(HWC)을 도입하여 기하학적 일관성과 정확도를 향상시킨다.
• 관건점 검출을 에피포라 기하학과 반복 최적화와 융합하여 소규모 겹침 조건에서도 3D 재구성 품질을 향상시킨다.
• 수렴성과 강건성을 향상시키기 위해 CPO 과정을 형태 개선과 함께 닫힌 루프 방식으로 적용한다.
• 일반화성과 실용성을 보장하기 위해 시뮬레이션 및 실세계 데이터셋 모두에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 소규모 겹침 영역만을 가진 단안 다중 시점 시스템이 복잡한 환경에서 정확한 3D 차량 자세 및 형태 추정을 달성할 수 있는가?
• RQ2 깊이 센서가 없는 조건에서 계층적 와이어프레임 제약(HWC)의 통합이 3D 형태 추정 정확도에 어떻게 기여하는가?
• RQ3 교차 투영 최적화(CPO) 프레임워크가 기존의 단안 및 스테레오 기반 방법보다 3D 차량 위치 추정에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 다양한 조명 조건, 가림 현상, 카메라 설정이 존재하는 실세계 시각 조건에서 제안된 방법의 강건성은 어느 정도인가?

주요 결과

• 제안된 방법은 시뮬레이션 및 실세계 평가 모두에서 기존의 단안 및 스테레오 시각 방법보다 뛰어난 3D 자세 및 형태 추정 정확도를 달성한다.
• 계층적 와이어프레임 제약(HWC)의 통합은 반복 최적화 과정에서 기하학적 일관성과 형태 재구성 품질을 크게 향상시킨다.
• 교차 투영 최적화(CPO) 프레임워크는 소규모 겹침 영역 조건에서도 복원 오차를 효과적으로 감소시키고 3D 자세 정확도를 향상시킨다.
• 실세계 감시 시나리오에서 높은 강건성과 일반화 능력을 보이며 지능형 교통 응용 분야에서 신뢰할 수 있는 성능을 제공한다.
• CNN 기반의 관건점 검출은 복잡한 장면에서 정확한 3D 재구성에 필수적인 신뢰할 수 있는 2D 지도 신호를 제공한다.
• 단안 시각에 의존하고 계산 효율성이 높기 때문에 대규모 감시 카메라 네트워크에의 구현에 매우 적합하다.