[논문 리뷰] Weakly Supervised Training of Monocular 3D Object Detectors Using Wide Baseline Multi-view Traffic Camera Data

Matthew D. Howe, Ian Reid외 1명|arXiv (Cornell University)|2021. 10. 21.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 교차로 감시를 위한 단안 3D 객체 검출기의 보정을 위해 겹치는 광각 다중 시점 카메라 데이터를 사용하는 약한 지도 학습 방법을 제안한다. 사전 훈련된 검출기와 다중 시점 재투영 손실을 활용하여 시점 간 기하학적 일관성을 강제함으로써, 3D 객체 검출기의 7DoF 차량 자세 정확도를 최첨단의 완전 지도 학습 모델 수준으로 끌어올렸으며, 보정에 단지 10분 분량의 레이블이 없는 다중 시점 영상만 필요로 한다.

ABSTRACT

Accurate 7DoF prediction of vehicles at an intersection is an important task for assessing potential conflicts between road users. In principle, this could be achieved by a single camera system that is capable of detecting the pose of each vehicle but this would require a large, accurately labelled dataset from which to train the detector. Although large vehicle pose datasets exist (ostensibly developed for autonomous vehicles), we find training on these datasets inadequate. These datasets contain images from a ground level viewpoint, whereas an ideal view for intersection observation would be elevated higher above the road surface. We develop an alternative approach using a weakly supervised method of fine tuning 3D object detectors for traffic observation cameras; showing in the process that large existing autonomous vehicle datasets can be leveraged for pre-training. To fine-tune the monocular 3D object detector, our method utilises multiple 2D detections from overlapping, wide-baseline views and a loss that encodes the subjacent geometric consistency. Our method achieves vehicle 7DoF pose prediction accuracy on our dataset comparable to the top performing monocular 3D object detectors on autonomous vehicle datasets. We present our training methodology, multi-view reprojection loss, and dataset.

연구 동기 및 목표

• 자기 차량의 단안 3D 검출기와 고정된 교차로 감시 카메라 간의 도메인 갭을 해결하기 위해.
• 비용이 많이 드는 LiDAR나 수동 3D 레이블링 없이 도시 교차로에서 차량의 7DoF 자세 추정(위치, 크기, 요각)을 정확히 수행하기 위해.
• 2D 검출 결과와 다중 시점 간 기하학적 일관성만을 사용하는 약한 지도 학습 훈련 방법을 개발하기 위해.
• 평가를 위해 45,000대의 자동으로 레이블링된 차량과 1,651개의 수동 레이블링된 7DoF 자세를 포함한 새로운 다중 시점 데이터셋(WIBAM)을 공개하기 위해.
• 10분 분량의 다중 시점 영상으로 보정을 수행할 경우, 완전 지도 학습 최첨단 모델과 동등한 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 사전 훈련된 단안 3D 객체 검출기를 약한 지도 학습 다중 시점 재투영 손실을 사용해 보정하기 위해.
• 겹치는 광각 다중 시점 카메라 영상에서 사전 훈련된 2D 검출기를 통해 2D 검출 결과를 생성하여 약한 지도 신호로 활용하기 위해.
• 다중 시점 간의 3D 검출 결과 재투영 오차를 최소화하여 기하학적 일관성을 강제하기 위해.
• 사전 훈련된 모델의 3D 예측 헤드를 활용해 검출기를 초기화함으로써 대규모 3D 레이블링의 필요성을 줄이기 위해.
• 엔드 투 엔드 훈련 중에 손실 함수를 적용하여 3D 경계 상자 예측과 기하학적 일관성을 동시에 최적화하기 위해.
• 평가를 위한 신뢰할 수 있는 성능 측정을 보장하기 위해 수동 레이블링된 테스트 세트를 생성하기 위해 다중 시점 레이블링 툴을 사용하기 위해.

실험 결과

연구 질문

• RQ1 자기 차량 데이터에서 사전 훈련된 단안 3D 객체 검출기를 고정된 교차로 감시 카메라에 효과적으로 보정할 수 있는가?
• RQ2 3D 레이블링이 없는 상황에서 다중 시점 간 기하학적 일관성이 강력한 지도 신호로 기능할 수 있는가?
• RQ3 완전 지도 학습 모델과 동등한 성능을 달성하기 위해 얼마나 많은 다중 시점 데이터가 필요한가?
• RQ4 약한 지도 학습 방법이 교통 안전 연구에서 비용이 많이 드는 수동 3D 레이블링의 필요성을 줄일 수 있는가?
• RQ5 제안된 방법이 실제 도시 교차로 데이터에서 기준 모델 대비 7DoF 자세 정확도를 향상시키는가?

주요 결과

• WIBAM 모델은 NuScenes 데이터셋에서 최첨단 완전 지도 학습 모델 수준의 성능을 보이며, WIBAM 테스트 세트에서 7DoF 자세 예측 정확도를 달성했다.
• WIBAM 테스트 세트에서 2D 검출 오차(ATE)는 0.41m, 3D 크기 오차(ASE)는 0.22m, 요각 오차(AOE)는 4.69°로 개선되었다.
• 12.5 FPS 다중 시점 데이터에서 10분 분량의 영상 클립만으로도 기준 모델 대비 3D IoU를 크게 향상시킬 수 있는 충분한 지도 신호를 제공하였다.
• 정성적 결과에서는 가림되거나 잘린 차량에 대해서도 시간에 따라 일관되고 정확한 3D 경계 상자 예측이 이루어지는 것으로 나타났다.
• 다중 시점 재투영 손실은 사전 훈련된 모델이 새로운 카메라 도메인에서 유도한 국소화 및 크기 오차를 효과적으로 수정하였다.
• WIBAM 데이터셋은 자동으로 레이블링된 45,000대의 차량(116,000개의 2D 경계 상자)과 1,651개의 수동 레이블링된 7DoF 자세를 포함하여 재현 가능한 평가를 가능하게 하였다.