[논문 리뷰] DirectShape: Direct Photometric Alignment of Shape Priors for Visual Vehicle Pose and Shape Estimation

Rui Wang, Nan Yang외 2명|arXiv (Cornell University)|2019. 04. 22.

Robotics and Sensor-Based Localization참고 문헌 41인용 수 9

한 줄 요약

이 논문은 사진기하학적 및 실루엣 일치를 통해 형태 사전을 활용하여 스테레오 영상에서 직접 3D 차량 자세와 형태 추정을 수행하는 새로운 방법인 DirectShape를 제안한다. 스테레오 포인트 클라우드에 의존하지 않고 이미지 공간에서 에너지 함수를 최적화함으로써 자세 및 형태 추정의 정확도를 향상시키고, 딥 러닝 검출기의 성능을 크게 향상시키는 데 성공한다.

ABSTRACT

Scene understanding from images is a challenging problem encountered in autonomous driving. On the object level, while 2D methods have gradually evolved from computing simple bounding boxes to delivering finer grained results like instance segmentations, the 3D family is still dominated by estimating 3D bounding boxes. In this paper, we propose a novel approach to jointly infer the 3D rigid-body poses and shapes of vehicles from a stereo image pair using shape priors. Unlike previous works that geometrically align shapes to point clouds from dense stereo reconstruction, our approach works directly on images by combining a photometric and a silhouette alignment term in the energy function. An adaptive sparse point selection scheme is proposed to efficiently measure the consistency with both terms. In experiments, we show superior performance of our method on 3D pose and shape estimation over the previous geometric approach and demonstrate that our method can also be applied as a refinement step and significantly boost the performances of several state-of-the-art deep learning based 3D object detectors. All related materials and demonstration videos are available at the project page https://vision.in.tum.de/research/vslam/direct-shape.

연구 동기 및 목표

• 기존 3D 객체 검출기가 뚜렷한 형태 및 자세 정보 없이 근사적인 3D 경계 상자만 추정하는 한계를 해결한다.
• 기존 기하학적 일치 파이프라인에서 스테레오 매칭 오차를 줄이기 위해 직접 이미지 공간에서 작업함으로써 이를 극복한다.
• 서피셜 디스턴스 함수(SDF)를 통한 암묵적 3D 형태 사전을 활용하여 가림, 조명 변화, 반사 표면에 대한 강인성을 향상시킨다.
• 사진기하학적 일致 및 실루엣 일치를 활용하여 이미지에서 3D 자세 및 형태를 동시에 개선하는 기울기 가능하고 종단 간 최적화 프레임워크를 개발한다.
• 기존 딥 러닝 기반 3D 검출기의 성능 향상을 위해 이 방법을 후처리 개선 단계로 통합함으로써 재학습 없이도 향상된 출력 품질을 달성한다.

제안 방법

• 형태 사전에서 유도된 3D 서피셜 디스턴스 함수(SDF)의 저차원 선형 부분공간을 사용하여 차량 형태를 표현한다.
• 사진기하학적 잔차(좌우 영상 간 색상 일관성)와 실루엣 잔차(마스크 일치)를 조합한 비선형 최소 제곱 에너지 함수를 제안한다.
• 가우스-뉴턴 최적화를 사용하여 이미지 강도에 직접적으로 3D 강체 자세 및 형태 파라미터를 개선한다.
• 사진기하학적 및 실루엣 일치 항목을 효율적으로 계산하기 위해 적응형 희소 점 선택 기법을 구현한다.
• 중간 단계의 스테레오 재구성을 피하고 형태 사전을 직접 이미지 특징에 일치시킴으로써 오차 전파를 줄인다.
• 기존 3D 검출기의 보완 모듈로 통합하여 재학습 없이도 성능 향상을 이룬다.

실험 결과

연구 질문

• RQ1 이미지 공간에서 직접 사진기하학적 및 실루엣 일치를 수행하는 것이 스테레오 포인트 클라우드 기반 기하학적 일치보다 3D 차량 자세 및 형태 추정에서 더 우수한 성능을 내는가?
• RQ2 어떤 정도로 기울기 가능하고 이미지 공간 기반 최적화 프레임워크가 가림, 어두운 조명과 같은 도전적인 조건에서 3D 형태 및 자세 정확도를 향상시킬 수 있는가?
• RQ3 실세계 상황에서 딥 러닝 기반 3D 객체 검출기의 후처리 개선 단계로 제안된 방법이 얼마나 효과적인가?
• RQ4 SDF 기반 형태 사전을 사용함으로써 스테레오 매칭에서 유도된 불완전하거나 노이즈가 많은 3D 재구성에 대한 강인성이 향상되는가?
• RQ5 장거리 차량, 잘린 형태, 부분적 가림 등 다양한 실세계 조건에서도 이 방법이 일반화 가능한가?

주요 결과

• 제안된 방법은 KITTI 스테레오 2015 벤치마크에서 모든 형태 평가 지표(완전성, 정확도, F1 스코어, RMSE)에서 이전 기하학적 일치 방법을 능가한다.
• 형태 추정에서 τ = 0.1m일 때 기하 기반 기준 대비 F1 스코어는 3.4% 높고, RMSE는 1.2 mm 낮다.
• 3D 자세 추정에서 KITTI 3D 객체 벤치마크에서 모든 난이도 수준(Easy, Moderate, Hard)에서 평균 정밀도(AP)가 높다.
• 4개의 최신 3D 검출기(Mono3D, Deep3DBox, 3DOP, MLF)에 후처리 개선 단계로 적용했을 때 AP_{3D} 및 AP_{bv} 점수가 크게 향상되었다.
• 정성적 결과에서는 심한 가림이나 장거리 차량이 있는 도전적인 상황에서도 더 정확하고 일관성 있는 3D 형태 및 자세를 생성함을 보여준다.
• 추론 과정에서 LiDAR나 스테레오 포인트 클라우드가 필요 없으며, 오직 스테레오 영상과 세그멘테이션 마스크에 의존한다.