[논문 리뷰] Probabilistic and Geometric Depth: Detecting Objects in Perspective

Tai Wang, Xinge Zhu외 2명|arXiv (Cornell University)|2021. 07. 29.

Advanced Neural Network Applications참고 문헌 50인용 수 94

한 줄 요약

이 논문은 PGD를 도입하여 확률적 깊이 불확실성(probit)과 기하학적 깊이 전파 그래프를 결합해 단안 monocular 3D 물체 검출을 개선하고, KITTI와 nuScenes에서 실시간으로 최첨단 성능을 달성합니다.

ABSTRACT

3D object detection is an important capability needed in various practical applications such as driver assistance systems. Monocular 3D detection, as a representative general setting among image-based approaches, provides a more economical solution than conventional settings relying on LiDARs but still yields unsatisfactory results. This paper first presents a systematic study on this problem. We observe that the current monocular 3D detection can be simplified as an instance depth estimation problem: The inaccurate instance depth blocks all the other 3D attribute predictions from improving the overall detection performance. Moreover, recent methods directly estimate the depth based on isolated instances or pixels while ignoring the geometric relations across different objects. To this end, we construct geometric relation graphs across predicted objects and use the graph to facilitate depth estimation. As the preliminary depth estimation of each instance is usually inaccurate in this ill-posed setting, we incorporate a probabilistic representation to capture the uncertainty. It provides an important indicator to identify confident predictions and further guide the depth propagation. Despite the simplicity of the basic idea, our method, PGD, obtains significant improvements on KITTI and nuScenes benchmarks, achieving 1st place out of all monocular vision-only methods while still maintaining real-time efficiency. Code and models will be released at https://github.com/open-mmlab/mmdetection3d.

연구 동기 및 목표

• 단안 3D 검출에서 인스턴스 깊이 추정이 주요 병목임을 보이고, 깊이 추정을 개선하면 전체 성능이 향상된다는 것을 입증한다.
• 각 물체 깊이에 대한 불확실성을 포착하기 위한 확률적 깊이 표현을 제안한다.
• 원근 기하학에 기반한 깊이 전파 그래프를 도입해 물체 간 맥락 관계를 활용한다.
• 학습된 융합 메커니즘을 통해 확률적 국지 깊이와 그래프 기반 기하학적 깊이를 융합한다.
• 엔드-투-엔드 프레임워크를 사용해 KITTI와 nuScenes에서 실시간 성능과 최첨단 결과를 입증한다.

제안 방법

• 깊이를 깊이 간격에 대한 확률 분포로 모델링하고 기대 깊이 D_P를 계산한다.
• 깊이 불확실성을 깊이 분포의 상위 k 개 신뢰도 점수로 표현하고 깊이 점수 s^d를 도출한다.
• 원근 기하학을 사용해 물체 간 깊이를 연결하는 깊이 전파 그래프를 구성하고, 깊이 신뢰도, 2D 근접성, 클래스 유사성에 기반한 엣지 가지치기 및 게이팅을 적용한다.
• 다른 물체의 깊이 예측의 가중합으로 기하학적 깊이 D_G를 계산하고, 그라디언트를 필요로 하지 않는 전파 단계를 보장한다.
• 로컬 깊이 D_L(직접 회귀 D_R와 확률적 깊이 D_P의 조합)와 기하학적 깊이 D_G를 위치 인식 맵 alpha를 통해 융합해 D = sigma(alpha) * D_L + (1 - sigma(alpha)) * D_G를 얻는다.
• 엔드-투-엔드 FCOS3D 기반 검출기에 최종 깊이 예측을 통합하고 표준 손실 함수로 학습한다.

실험 결과

연구 질문

• RQ1 단안 3D 검출의 지배적 병목을 인스턴스 깊이 추정으로 재정의해 모든 3D 예측이 개선되는지 확인한다.
• RQ2 확률적 깊이 표현이 불확실성을 포착하고 전파를 유도하여 깊이 추정을 개선하는지 확인한다.
• RQ3 깊이 전파 그래프를 통한 다중 물체 간 기하학적 관계가 단독 인스턴스 이상의 깊이 추정에 유의미한 이점을 제공하는지 확인한다.
• RQ4 확률/로컬 깊이와 기하학적 깊이를 단순 융합하는 방식으로 실시간 단안 3D 검출 성능이 견고해지는지 확인한다.
• RQ5 제안된 PGD 접근법이 표준 벤치마크(KITTI, nuScenes)에서 기존 단안 방법들과 비교해 어떤 성능을 보이는지 확인한다.

주요 결과

• 깊이가 주요 병목으로 확인되었고, 정확한 깊이는 다른 3D 속성의 개선으로 이어진다.
• 확률적 깊이 추정(D_P)과 불확실성 점수는 직접 회귀만 사용하는 것보다 깊이 정확도를 향상시킨다.
• 원근 기하학 그래프를 통한 깊이 전파(D_G)는 이웃 물체들로부터의 맥락 정보를 활용해 깊이를 정교화한다.
• 로컬 깊이(D_L)와 게이팅 기법을 포함한 융합이 속도 저하 없이 성능을 크게 향상시킨다.
• PGD는 실시간으로 작동하면서 KITTI와 nuScenes 벤치마크에서 단안 비전 기반 방법들 중 1위를 달성한다(≈36 Hz).
• PGD 구성요소로 보강된 간단한 FCOS3D 기반 백본이 효과적임을 보여주며, 깊이 중심 설계가 원근 기반 검출에 효과적임을 입증한다.