[논문 리뷰] Demystifying Pseudo-LiDAR for Monocular 3D Object Detection.

Andrea Simonelli, Samuel Rota Bulò외 3명|arXiv (Cornell University)|2020. 12. 10.

Advanced Neural Network Applications참고 문헌 20인용 수 6

한 줄 요약

이 논문은 Pseudo-LiDAR 기반 단안 3D 객체 검출 방법에서 KITTI3D 검증 세트에서의 보고된 SOTA 성능이 훈련 및 검증 데이터가 겹치면서 발생하는 심각한 데이터 泄露로 인해 편향되어 있음을 폭 드러내며, 이를 해결하기 위해 3D 신뢰도 예측 모듈을 도입하여 공정하지 않은 테스트 세트에서 3D AP 최대 +8% 향상시켜 Pseudo-LiDAR의 경쟁력을 회복시킴.

ABSTRACT

Pseudo-LiDAR-based methods for monocular 3D object detection have generated large attention in the community due to performance gains showed on the KITTI3D benchmark dataset, in particular on the commonly reported validation split. This generated a distorted impression about the superiority of Pseudo-LiDAR approaches against methods working with RGB-images only. Our first contribution consists in rectifying this view by analysing and showing experimentally that the validation results published by Pseudo-LiDAR-based methods are substantially biased. The source of the bias resides in an overlap between the KITTI3D object detection validation set and the training/validation sets used to train depth predictors feeding Pseudo-LiDAR-based methods. Surprisingly, the bias remains also after geographically removing the overlap, revealing the presence of a more structured contamination. This leaves the test set as the only reliable mean of comparison, where published Pseudo-LiDAR-based methods do not excel. Our second contribution brings Pseudo-LiDAR-based methods back up in the ranking with the introduction of a 3D confidence prediction module. Thanks to the proposed architectural changes, our modified Pseudo-LiDAR-based methods exhibit extraordinary gains on the test scores (up to +8% 3D AP).

연구 동기 및 목표

• Pseudo-LiDAR 기반 단안 3D 객체 검출 방법의 KITTI3D 벤치마크에서 성능 편향의 원인을 조사하고 폭 드러내는 것.
• Pseudo-LiDAR 평가에서 사용된 KITTI3D 검증 세트에 훈련 세트와의 데이터 오버랩으로 인해 보고된 SOTA 성능이 훼손되어 있음을 입증하는 것.
• 단순한 오버랩 이후에도 지속되는 더 구조적인 오염 패턴을 특정하고 분석하는 것.
• Pseudo-LiDAR 성능을 향상시키기 위한 새로운 3D 신뢰도 예측 모듈을 제안하는 것.
• 공정한 비교가 가능한 테스트 세트에서 SOTA 성능을 확보함으로써 Pseudo-LiDAR 방법의 신뢰성을 회복하는 것.

제안 방법

• Pseudo-LiDAR 평가에서 사용된 KITTI3D 훈련/검증 세트 간의 데이터 오버랩을 체계적으로 분석하여 오염 원인을 규명함.
• 지리적 오버랩 샘플을 제거하여 편향이 제거되는지 테스트함으로써, 단순한 오버랩을 초월한 지속적인 구조적 오염이 존재함을 드러냄.
• 검출 신뢰도를 향상시키고 가짜 검출을 줄이기 위해 Pseudo-LiDAR 파이프라인에 3D 신뢰도 예측 모듈을 통합함.
• 각 3D 바운딩 박스에 대한 신뢰도 점수를 예측할 수 있도록 Pseudo-LiDAR 프레임워크를 수정하고, 추론 시 이 점수를 활용해 검출 결과를 필터링하거나 재가중함.
• 공식 KITTI3D 테스트 세트에서 수정된 방법을 재평가하여 데이터 泄露를 방지하고 공정한 비교를 확보함.
• 중복되지 않는 데이터로 깊이 추정 모델을 훈련하고, 이를 통해 허위 포인트 클라우드를 생성하여 3D 검출을 수행함으로써 향후 데이터 泄루를 방지함.

실험 결과

연구 질문

• RQ1 Pseudo-LiDAR 기반 방법의 KITTI3D 검증 세트에서 보고된 SOTA 성능은 어느 정도 데이터 泄루로 인해 과대평가되었는가?
• RQ2 지리적 오버랩 샘플 제거 후에도 Pseudo-LiDAR 방법의 성능 편향이 완전히 제거되는가?
• RQ3 단순한 데이터 오버랩을 초월한 구조적 또는 패턴 기반 오염 메커니즘은 무엇이 있는가?
• RQ4 3D 신뢰도 예측 모듈은 공정하지 않은 테스트 세트에서 Pseudo-LiDAR 방법의 경쟁력을 복원할 수 있는가?
• RQ5 공정한 조건에서 공식 테스트 세트에서 평가했을 때 Pseudo-LiDAR 방법의 실제 성능 향상은 어느 정도인가?

주요 결과

• Pseudo-LiDAR 기반 방법의 KITTI3D 검증 세트에서 보고된 성능 향상은 훈련 및 검증 세트 간의 데이터 오버랩으로 인해 심각하게 편향되어 있음.
• 지리적 오버랩 샘플을 제거한 후에도 구조적 오염 패턴이 지속됨을 확인하여, 단순한 공간적 오버랩을 초월한 더 깊은 수준의 데이터 泄루가 존재함을 규명함.
• 데이터 泄루가 없는 공식 테스트 세트에서, 기존의 Pseudo-LiDAR 방법은 다른 RGB 전용 방법보다 뛰어나지 못함.
• 제안된 3D 신뢰도 예측 모듈은 3D 평균 정밀도에서 상당한 향상을 이끌어내어 테스트 세트에서 최대 +8% 향상됨.
• 신뢰도 모듈을 통합한 Pseudo-LiDAR 기반 방법은 KITTI3D 테스트 세트에서 다시 SOTA 성능을 확보하여 공정한 평가 환경에서의 신뢰성을 회복함.
• 연구 결과는 벤치마크 결과를 해석할 때 주의가 필요하며, 향후 3D 인식 연구에서 더 철저한 데이터 분할 및 검증 프로토콜 도입을 촉구함.