[논문 리뷰] Omni3D: A Large Benchmark and Model for 3D Object Detection in the Wild

Garrick Brazil, Kumar, Abhinav외 4명|arXiv (Cornell University)|2022. 07. 21.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 98개 카테고리에 걸쳐 234,000장의 이미지와 300만 개의 3D 객체 인스턴스를 포함하는 대규모 벤치마크인 Omni3D를 소개하고, 가상의 깊이를 사용하여 스케일-깊이 모호성을 완화함으로써 다양한 환경과 카메라 유형에서 일반화할 수 있는 통합형 3D 객체 검출기인 Cube R-CNN을 제안한다. 이 모델은 KITTI에서 이전 최고 성능 기준으로 최대 9.5% AP 향상과 Omni3D에서 7.9% 향상을 기록하며, COCO와 같은 알려지지 않은 도메인으로의 제로샷 일반화를 가능하게 한다.

ABSTRACT

Recognizing scenes and objects in 3D from a single image is a longstanding goal of computer vision with applications in robotics and AR/VR. For 2D recognition, large datasets and scalable solutions have led to unprecedented advances. In 3D, existing benchmarks are small in size and approaches specialize in few object categories and specific domains, e.g. urban driving scenes. Motivated by the success of 2D recognition, we revisit the task of 3D object detection by introducing a large benchmark, called Omni3D. Omni3D re-purposes and combines existing datasets resulting in 234k images annotated with more than 3 million instances and 98 categories. 3D detection at such scale is challenging due to variations in camera intrinsics and the rich diversity of scene and object types. We propose a model, called Cube R-CNN, designed to generalize across camera and scene types with a unified approach. We show that Cube R-CNN outperforms prior works on the larger Omni3D and existing benchmarks. Finally, we prove that Omni3D is a powerful dataset for 3D object recognition and show that it improves single-dataset performance and can accelerate learning on new smaller datasets via pre-training.

연구 동기 및 목표

• 도시 주행이나 실내 환경과 같은 좁은 영역을 초월해 다양한 환경을 포함하는 대규모이고 다양한 범주를 가진 3D 객체 검출 벤치마크의 부족을 해결하기 위해.
• 다양한 카메라 내재 파라미터, 환경 유형, 객체 카테고리에 걸쳐 일반화할 수 있는 통합형 3D 객체 검출 모델을 개발하기 위해.
• 다양한 도메인의 3D 검출에서 스케일-깊이 모호성을 줄이기 위해 가상의 깊이를 정규화 기법으로 도입하기 위해.
• Omni3D에서의 사전 훈련이 더 작은, 도메인 특화된 벤치마크에서의 성능 향상에 기여하는지 입증하기 위해.
• 확장 가능한 벤치마크와 효율적인 평가 도구를 공개함으로써 3D 검출 연구를 가속화하기 위해.

제안 방법

• Omni3D는 기존 데이터셋인 SUN RGB-D, ARKitScenes, Hypersim, Objectron, KITTI, nuScenes를 재사용하고 통합하여 구성되었으며, 총 234,000장의 이미지와 98개 카테고리에 걸쳐 300만 개의 3D 경계상자 애너테이션을 포함한다.
• 3D 교차율(Intersection-over-Union, IoU) 계산을 위한 새로운 알고리즘을 도입하여 기존 방법 대비 450배 빠른 처리 속도를 확보함으로써 대규모 벤치마크에서의 효율적 평가를 가능하게 하였다.
• Cube R-CNN는 트랜스포머 기반의 백본과 3D 영역 제안 기반 메커니즘을 사용하여 단일 이미지에서 3D 위치, 크기, 방향을 예측하는 통합형 엔드 투 엔드 3D 객체 검출기이다.
• 가상의 깊이를 정규화 전략으로 도입함으로써 모든 이미지가 고정된 내재 파라미터를 가진 공통의 가상 카메라 공간으로 투영되도록 하여 다양한 초점 거리로 인한 스케일-깊이 모호성을 감소시켰다.
• 가상의 깊이를 활용해 이미지 리스케일링 등의 데이터 증강 기법을 구현함으로써 일반화 성능과 훈련 안정성을 향상시켰다.
• 모델은 전체 Omni3D 데이터셋에서 엔드 투 엔드로 훈련되었으며, KITTI, COCO, 기타 여러 벤치마크에서 평가되었으며, 특히 카메라 내재 파라미터가 알려지지 않은 COCO 이미지에 대해 제로샷 전이 성능도 입증하였다.

실험 결과

연구 질문

• RQ1 다양한 카메라 내재 파라미터와 객체 카테고리가 포함된 실제 환경에서 단일 3D 객체 검출기가 효과적으로 일반화할 수 있는가?
• RQ2 Omni3D와 같은 대규모 다중 도메인 벤치마크에서 사전 훈련하면 더 작은 도메인 특화 3D 검출 벤치마크에서의 성능 향상이 어떻게 이루어지는가?
• RQ3 다양한 초점 거리에서 단안 3D 검출의 스케일-깊이 모호성을 완화하는 데 가상의 깊이가 어느 정도 기여하는가?
• RQ4 통합형 모델이 KITTI나 SUN RGB-D와 같이 개별 데이터셋에서 훈련된 전문화된 모델보다 성능이 뛰어나게 되는가?
• RQ5 효율적인 3D IoU 계산 알고리즘이 대규모 3D 검출 벤치마크의 훈련 및 평가 확장성에 어떤 영향을 미치는가?

주요 결과

• Cube R-CNN는 기존 최고 성능 모델인 GUPNet 대비 KITTI 벤치마크에서 최대 9.5% 높은 AP 성능을 기록하였다.
• Omni3D 벤치마크에서 Cube R-CNN는 PGD보다 7.9% 높은 AP를 기록하여 다양한 환경에서의 강력한 일반화 능력을 입증하였다.
• Omni3D에서의 사전 훈련은 도시 환경 벤치마크에서 최대 5.3% 높은 AP 향상과 실내 환경 벤치마크에서 최대 3.8% 향상을 가져왔다.
• 제안된 3D IoU 계산 알고리즘은 이전 방법 대비 450배 빠른 처리 속도를 확보하여 대규모 데이터셋에서의 훈련 및 평가 효율성을 향상시켰다.
• Cube R-CNN는 알려지지 않은 도메인으로의 일반화가 효과적으로 이루어져, 카메라 내재 파라미터가 알려지지 않은 COCO 이미지에서 제로샷 검출 성능을 기록하였으며, 특히 실내 환경에서 뛰어난 성능을 보였다.
• Omni3D의 긴 꼬리 카테고리(후행 카테고리)에서는 성능 저하가 발생하여, 상위 50개 카테고리에서의 AP3D가 23.3%에서 전체 98개 카테고리로 확장했을 때 14.1%로 감소함을 확인하여, 소수의 샘플을 가진 3D 인식의 과제를 드러내었다.