[논문 리뷰] MonoPair: Monocular 3D Object Detection Using Pairwise Spatial Relationships

Yongjian Chen, Lei Tai외 2명|arXiv (Cornell University)|2020. 03. 01.

Advanced Neural Network Applications참고 문헌 41인용 수 24

한 줄 요약

MonoPair는 일괄적인 공간 관계를 모델링하고 불확실성 인식 예측 및 비선형 최소 제곱 최적화를 사용하여 가림된 물체에 대한 정확도를 향상시키는 단안 3D 객체 검출 방법을 제안한다. 학습된 불확실성 가중치로 객체 위치와 기하학적 제약 조건을 동시에 최적화함으로써 KITTI 3D 벤치마크에서 최신 기술 수준의 성능을 달성하며, 특히 어려운, 심하게 가려진 샘플에서 뛰어난 성능을 보인다.

ABSTRACT

Monocular 3D object detection is an essential component in autonomous driving while challenging to solve, especially for those occluded samples which are only partially visible. Most detectors consider each 3D object as an independent training target, inevitably resulting in a lack of useful information for occluded samples. To this end, we propose a novel method to improve the monocular 3D object detection by considering the relationship of paired samples. This allows us to encode spatial constraints for partially-occluded objects from their adjacent neighbors. Specifically, the proposed detector computes uncertainty-aware predictions for object locations and 3D distances for the adjacent object pairs, which are subsequently jointly optimized by nonlinear least squares. Finally, the one-stage uncertainty-aware prediction structure and the post-optimization module are dedicatedly integrated for ensuring the run-time efficiency. Experiments demonstrate that our method yields the best performance on KITTI 3D detection benchmark, by outperforming state-of-the-art competitors by wide margins, especially for the hard samples.

연구 동기 및 목표

• 단안 영상에서 시야가 제한된 정보로 인해 개별 객체 검출이 실패하는 심하게 가려진 3D 객체를 탐지하는 문제에 대응하기 위해.
• 근처 객체 간 기하학적 관계를 활용하여 검출 정확도를 향상시키고, 인간의 시각 직관을 영감으로 삼기 위해.
• 불확실성 추정을 3D 객체 검출에 통합하여 강인성 향상과 최적화 가이드를 제공하기 위해.
• 후처리 최적화를 갖춘 효율적인 단단계, 앵커 기반 없는 검출기 개발을 통해 실시간 추론 속도를 유지하기 위해.
• 특히 어려운, 가려진 샘플에서 기존 최신 기술 수준의 방법들을 능가하는 성능을 달성하기 위해.

제안 방법

• 해당 방법은 인접한 객체 쌍 간의 쌍별 공간 제약 조건을 사용하여 3D 객체 검출을 공동 최적화 문제로 공식화한다.
• 알레아토릭 불확실성(aleatoric uncertainty)을 추정하는 불확실성 인식 예측 헤드를 도입하여 깊이(σᶻ)와 투영된 2D 오프셋(σᵘᵛ)의 불확실성을 비지도 학습 방식으로 추정한다.
• 공간 제약 조건은 두 객체 쌍 간 기하학적 중심에 있는 키포인트로 모델링되며, 상대적인 3D 위치와 거리를 인코딩한다.
• 예측된 객체 위치와 쌍별 제약 조건은 비선형 최소 제곱 최적화를 통해 최적화되며, 불확실성 값은 비용 함수 내에서 적응형 가중치로 사용된다.
• 단단계, 앵커 기반 없는 검출기는 경량 후처리 최적화 모듈과 통합되어 실시간 추론(지니어스 GTX 1080 Ti에서 1장당 57ms)을 보장한다.
• 쌍 매칭은 공간적 근접성과 IoU 기반으로 수행되며, 최적화 복잡도와 성능의 균형을 위해 고품질 쌍의 일부만 사용된다.

실험 결과

연구 질문

• RQ1 근접한 3D 객체 간의 쌍별 공간 관계를 모델링하면, 특히 가려진 샘플에서 단안 3D 객체 검출의 성능 향상에 기여할 수 있는가?
• RQ2 3D 객체 검출 예측에 알레아토릭 불확실성을 통합하면 강인성과 최적화 정확도가 향상되는가?
• RQ3 객체 위치와 공간 제약 조건에 대해 불확실성 가중치가 있는 비선형 최소 제곱 최적화가 기준 방법보다 더 나은 검출 성능을 낼 수 있는가?
• RQ4 후처리 최적화를 갖춘 단단계, 앵커 기반 없는 검출기가 실시간 추론 속도를 유지하면서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 성능 저하 또는 계산 비용 증가 없이 최적의 쌍별 제약 조건 수는 얼마인가?

주요 결과

• MonoPair는 KITTI 3D 검출 벤치마크에서 가장 높은 성능을 기록했으며, Moderate 셋에서 46.90%의 AP₃D를 달성하여 M3D-RPN 및 기타 최신 기술 수준 방법들을 능가했다.
• 어려운 샘플(IoU ≥ 0.7)에서는 17.39%의 AP₃D를 기록하여 기준 모델(7.81%) 및 기타 경쟁자들보다 뚜렷한 향상을 보였다.
• 제거 분석 결과, 깊이 불확실성(σᶻ)과 오프셋 불확실성(σᵘᵛ)을 모두 조합할 경우 가장 우수한 성능을 기록했으며, 기준 모델 대비 1.5%의 AP₃D 향상이 있었다.
• 이미지당 최적의 쌍별 제약 조건 수는 5~8개였으며, 이 그룹에서 평균 정밀도 향상이 가장 높았고(17.39% AP₃D), 적은 수나 많은 수의 쌍보다 우수했다.
• 최적화 비용 함수에 학습된 불확실성 값을 가중치로 사용할 경우 고정 가중치 전략(예: 항등행렬 또는 카메라 거리 기반 가중치)보다 성능이 뛰어나 효과성을 입증했다.
• 해당 방법은 GTX 1080 Ti에서 1장당 57ms로 실행되어 실시간 배포에 적합하며, 영역 제안 기반 방법보다 두 배 이상 빠른 속도를 기록했다.