[논문 리뷰] Disp R-CNN: Stereo 3D Object Detection via Shape Prior Guided Instance Disparity Estimation

Jiaming Sun, Linghao Chen외 5명|arXiv (Cornell University)|2020. 04. 07.

Advanced Vision and Imaging참고 문헌 33인용 수 15

한 줄 요약

이 논문은 전체 이미지의 디스parity가 아닌 2D 객체 제안 영역 내에서 인스턴스 수준의 디스파리티를 추정하는 스테레오 3D 객체 검출 프레임워크인 Disp R-CNN을 제안한다. 이는 정확도와 속도를 향상시킨다. LiDAR 없이도 통계적 형태 모델을 활용해 고밀도 디스파리티 가짜 진짜값(가짜 지도)을 생성함으로써, 훈련 중 LiDAR 지도 없이도 기존 최고 성능(SOTA) 방법보다 20% 높은 평균 정밀도를 달성한다.

ABSTRACT

In this paper, we propose a novel system named Disp R-CNN for 3D object detection from stereo images. Many recent works solve this problem by first recovering a point cloud with disparity estimation and then apply a 3D detector. The disparity map is computed for the entire image, which is costly and fails to leverage category-specific prior. In contrast, we design an instance disparity estimation network (iDispNet) that predicts disparity only for pixels on objects of interest and learns a category-specific shape prior for more accurate disparity estimation. To address the challenge from scarcity of disparity annotation in training, we propose to use a statistical shape model to generate dense disparity pseudo-ground-truth without the need of LiDAR point clouds, which makes our system more widely applicable. Experiments on the KITTI dataset show that, even when LiDAR ground-truth is not available at training time, Disp R-CNN achieves competitive performance and outperforms previous state-of-the-art methods by 20% in terms of average precision.

연구 동기 및 목표

• 스테레오 3D 객체 검출에서 전체 이미지 디스파리티 추정의 비효율성과 부정확성을 해결하기 위해.
• KITTI와 같은 실세계 데이터셋에서 고밀도 디스파리티 레이블의 부족 문제를 해결하기 위해.
• 카테고리별 형태 우선 지침을 활용해 배경이 아닌 전경 객체에 집중함으로써 3D 검출 정확도를 향상시키기 위해.
• CAD 모델에서 유도된 합성 디스파리티 가짜 지도를 생성함으로써 LiDAR 진짜값 없이도 효과적인 훈련을 가능하게 하기 위해.
• 디스파리티 추정을 오직 객체 영역으로만 제한함으로써 계산 비용을 줄이기 위해.

제안 방법

• 2D 객체 제안 영역(RoIs) 내에서만 디스파리티를 예측하는 인스턴스 수준 디스파리티 추정 네트워크(iDispNet)를 제안하여 집중도와 효율성을 향상시킨다.
• CAD 모델에 맞춘 주성분 분석(PCA) 기반의 통계적 형태 모델에 기반한 형태 우선 지침을 도입하여 정확한 인스턴스 수준의 디스파리티 예측을 가능하게 한다.
• 통계적 형태 모델에서 3D 객체 메시를 재구성하고, 이를 렌더링하여 감독을 위한 고밀도 디스파리티 맵을 생성하는 가짜 지도 생성 파이프라인을 개발한다.
• 생성된 가짜 지도를 사용해 iDispNet의 훈련을 지도함으로써, 실제 LiDAR 레이블 없이도 고품질의 디스파리티 추정을 가능하게 한다.
• iDispNet을 엔드 투 엔드 3D 검출 파이프라인에 통합한다: 2D 검출 → 인스턴스 수준 디스파리티 추정 → 포인트 클라우드에서의 3D 경계 상자 회귀.
• 기하학적 제약 조건과 메시 피팅을 적용하여 가짜 지도 생성 시 현실적인 형태 재구성을 보장한다.

실험 결과

연구 질문

• RQ1 전체 이미지 디스파리티 추정 대비 인스턴스 수준의 디스파리티 추정이 3D 객체 검출 정확도를 향상시킬 수 있는가?
• RQ2 통계적 형태 모델이 LiDAR 없이도 신뢰할 수 있는 가짜 지도 디스파리티를 생성할 수 있는가?
• RQ3 형태 우선 지침이 차량과 같은 낮은 무늬 또는 복잡한 표면 영역에서 디스파리티 추정 성능을 향상시킬 수 있는가?
• RQ4 제안된 방법이 훈련 중 LiDAR 지도 없이도 최고 성능(SOTA)을 달성할 수 있는가?
• RQ5 기존 스테레오 3D 검출 파이프라인과 비교해 제안된 방법의 추론 속도는 어떠한가?

주요 결과

• KITTI 3D 검출 벤치마크에서 Disp R-CNN은 훈련 시 LiDAR 지도를 사용하지 않았을 때도 47%의 평균 정밀도를 달성하여 이전 SOTA 방법보다 20% 높은 성능을 보였다.
• 가짜 지도 지도 훈련을 통해 iDispNet은 PSMNet 및 GA-Net와 같은 전체 프레임 방법보다 디스파리티 및 깊이 RMSE가 낮았으며, 특히 객체 기반 오차 지표에서 유의미한 개선을 보였다.
• 인스턴스 수준의 디스파리티 추정 덕분에 추론 시간이 1장당 0.425초로 감소하여, 더 작은 검색 공간과 감소된 계산량 덕분에 대부분의 이전 스테레오 방법을 능가했다.
• 정성적 결과에서는 iDispNet이 전체 프레임 대비 더 매끄럽고 정확한 디스파리티 맵과 더 선명한 객체 경계를 생성하는 것으로 나타났다.
• 실패 사례는 주로 장거리 객체, 강한 가림, 통계적 형태 모델에 잘 표현되지 않은 이상한 형태에서 기인했다.
• 절단 분석 결과, 인스턴스 수준 설계와 가짜 지도 지도 훈련이 성능 향상에 필수적임을 확인했다.