[논문 리뷰] Geometry Uncertainty Projection Network for Monocular 3D Object Detection

Yan Lu, Xinzhu Ma외 6명|arXiv (Cornell University)|2021. 07. 29.

Advanced Neural Network Applications참고 문헌 56인용 수 15

한 줄 요약

이 논문은 깊이 예측을 불확실성 인식 기하 전제 조건을 사용하여 분포로 모델링함으로써 단안 3D 객체 검출에서 오차 증폭 문제를 해결하는 기하 불확실성 투영 네트워크(GUP Net)를 제안한다. 신뢰도 추정을 위한 신뢰할 수 있는 정확도를 보장하는 기하 불확실성 투영(GUP) 모듈과 훈련 안정성을 높이기 위한 계층적 작업 학습(HTL) 전략을 도입하여, KITTI에서 자동차와 보행자에 대해 각각 3.74%와 4.7% 높은 AP40 성능을 달성하며 최신 기술을 능가한다.

ABSTRACT

Geometry Projection is a powerful depth estimation method in monocular 3D object detection. It estimates depth dependent on heights, which introduces mathematical priors into the deep model. But projection process also introduces the error amplification problem, in which the error of the estimated height will be amplified and reflected greatly at the output depth. This property leads to uncontrollable depth inferences and also damages the training efficiency. In this paper, we propose a Geometry Uncertainty Projection Network (GUP Net) to tackle the error amplification problem at both inference and training stages. Specifically, a GUP module is proposed to obtains the geometry-guided uncertainty of the inferred depth, which not only provides high reliable confidence for each depth but also benefits depth learning. Furthermore, at the training stage, we propose a Hierarchical Task Learning strategy to reduce the instability caused by error amplification. This learning algorithm monitors the learning situation of each task by a proposed indicator and adaptively assigns the proper loss weights for different tasks according to their pre-tasks situation. Based on that, each task starts learning only when its pre-tasks are learned well, which can significantly improve the stability and efficiency of the training process. Extensive experiments demonstrate the effectiveness of the proposed method. The overall model can infer more reliable object depth than existing methods and outperforms the state-of-the-art image-based monocular 3D detectors by 3.74% and 4.7% AP40 of the car and pedestrian categories on the KITTI benchmark.

연구 동기 및 목표

• 기하 기반 단안 3D 객체 검출에서 3D 높이 추정 오차가 깊이 추정 오차로 크게 증폭되는 문제를 해결하기 위해.
• 깊이를 분포로 모델링함으로써 불확실성을 고려한 예측을 통해 깊이 예측에 대한 신뢰도 높은 신뢰도 점수를 제공하기 위해.
• 작업 간 의존성과 오차 전파로 인해 불안정해지는 기하 기반 지도 모델의 훈련을 안정화하기 위해.
• 사전 작업이 충분히 학습된 후에 후속 작업이 최적화되도록 보장하는 훈련 전략을 개발하여 수렴성과 성능을 향상시키기 위해.

제안 방법

• 기하 불확실성 투영(GUP) 모듈은 추정된 3D 높이 분포에서 유도된 깊이 예측의 확률 분포를 모델링하여 불확실성 인식 기반의 깊이 출력을 가능하게 한다.
• GUP 모듈은 불확실성 이론을 확률적 프레임워크에 통합하여 높이 추정 불확실성에서 깊이 예측 불확실성으로의 매핑을 수행함으로써 신뢰도를 향상시킨다.
• 학습 상황 지표를 통해 작업 학습 진행 상황을 모니터링하고 사전 작업 수렴 정도에 따라 손실 가중치를 동적으로 조정하는 계층적 작업 학습(HTL) 전략을 제안한다.
• HTL 전략은 각 작업이 사전 작업이 충분한 진전을 이룬 후에야 훈련을 시작하도록 보장하여 오차 증폭으로 인한 불안정성을 감소시킨다.
• 수학적 전제 조건(투영 투영)을 딥 러닝과 융합하기 위해 깊이를 점 추정이 아닌 분포로 모델링함으로써 방법을 통합한다.
• 훈련 과정은 조기 단계의 작업이 수렴한 후에야 후행 단계의 작업이 활성화되는 적응형 손실 가중치를 사용하여 훈련 안정성과 최종 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 불확실성을 고려한 깊이 예측 분포 모델링이 단안 3D 객체 검출의 추론 신뢰도를 향상시키는가?
• RQ2 기하 기반 깊이 투영에서 3D 높이 추정 오차로 인한 오차 증폭 문제를 어떻게 완화할 수 있는가?
• RQ3 강한 작업 간 의존성이 있는 다중 작업 3D 검출 네트워크에서 계층적 훈련 전략이 안정성과 성능을 향상시키는가?
• RQ4 투영 단계에서의 불확실성 모델링이 직접적인 불확실성 학습에 비해 더 정확한 신뢰도 점수를 도출하는가?
• RQ5 제안된 HTL 전략은 수렴성과 최종 성능 측면에서 기존의 손실 가중치 방법과 비교해 어떻게 성능을 냅니다?

주요 결과

• 제안된 GUP Net은 최신 기술 대비 KITTI 벤치마크에서 자동차 카테고리에서 AP40이 3.74% 높게 달성되었다.
• 보행자 카테고리의 경우, 기존의 이미지 기반 단안 3D 검출기보다 AP40가 4.7% 향상되었다.
• GUP 모듈은 신뢰할 수 없는 신뢰도 예측을 크게 감소시켰으며, 기준 투영 모델과 달리 가림되거나 먼 물체에 대해 높은 불확실성을 할당하는 경향이 있었다.
• 계층적 작업 학습(HTL) 전략은 쉬운 수준의 검출 지표에서 약 2% 향상된 성능을 보였으며, 훈련 안정화에 효과적임을 입증하였다.
• 제어 실험 결과, 불확실성 모델링 없이 GeP(기하 투영) 구성 요소만 추가할 경우 직접적인 불확실성 학습 시 성능 저하가 발생함을 확인하여 GUP 모듈의 필요성을 입증하였다.
• HTL 전략은 GradNorm 및 Task Uncertainty와 같은 표준 손실 가중치 방법보다 우수한 성능을 보였으며, 특히 모델 내 계층적 구조와 오차 증폭 효과로 인해 유의미한 성능 향상을 이룬 것으로 나타났다.