[논문 리뷰] H3DNet: 3D Object Detection Using Hybrid Geometric Primitives

Zaiwei Zhang, Bo Sun외 2명|arXiv (Cornell University)|2020. 06. 10.

3D Shape Modeling and Analysis참고 문헌 53인용 수 17

한 줄 요약

H3DNet는 색 없는 3D 포인트 클라우드에서 경계 상자(BB) 중심, 면 중심, 모서리 중심으로 구성된 하이브리드 기하 원소 집합을 회귀하는 새로운 3D 객체 검출 프레임워크를 제안한다. 객체 제안을 연속적으로 최적화하기 위해 미분 가능한 거리 함수를 정의하고, 매칭 및 정밀 조정 모듈을 사용해 검출 결과를 분류하고 정밀 조정함으로써, H3DNet는 ScanNet(67.2% mAP@0.25)과 SUN RGB-D(60.1% mAP@0.25)에서 최신 기술 수준(SOTA) 성능을 달성하며, 특히 도전적인 카테고리에서 뚜렷한 성능 향상을 보였다.

ABSTRACT

We introduce H3DNet, which takes a colorless 3D point cloud as input and outputs a collection of oriented object bounding boxes (or BB) and their semantic labels. The critical idea of H3DNet is to predict a hybrid set of geometric primitives, i.e., BB centers, BB face centers, and BB edge centers. We show how to convert the predicted geometric primitives into object proposals by defining a distance function between an object and the geometric primitives. This distance function enables continuous optimization of object proposals, and its local minimums provide high-fidelity object proposals. H3DNet then utilizes a matching and refinement module to classify object proposals into detected objects and fine-tune the geometric parameters of the detected objects. The hybrid set of geometric primitives not only provides more accurate signals for object detection than using a single type of geometric primitives, but it also provides an overcomplete set of constraints on the resulting 3D layout. Therefore, H3DNet can tolerate outliers in predicted geometric primitives. Our model achieves state-of-the-art 3D detection results on two large datasets with real 3D scans, ScanNet and SUN RGB-D.

연구 동기 및 목표

• 복잡한 실제 환경에서 비정규적인 포인트 클라우드 입력과 변동하는 객체 수를 가진 시나리오에서 3D 객체 검출 성능을 향상시키기 위해.
• 3D 검출에서 노이즈가 많거나 정확도가 떨어지는 기하 신호 문제를 해결하기 위해 과잉 결정된 기하 원소 집합을 활용함으로써.
• 다양한 기하 신호(중심, 면, 모서리)를 통합하고 객체 제안의 강력하고 연속적인 최적화를 가능하게 하여 검출 정확도를 향상시키기 위해.
• 기하 원소를 동시에 회귀하고, 제안을 생성하며, 정밀 조정된 검출 결과에 의미적 레이블을 할당하는 통합형 엔드 투 엔드 딥 러닝 프레임워크를 개발하기 위해.
• 하이브리드 기하 원소 회귀가 단일 원소 유형 또는 비기하적 접근 방식보다 더 강력하고 정확한 3D 객체 검출을 가능하게 한다는 것을 입증하기 위해.

제안 방법

• H3DNet는 3D 포인트 클라우드의 조밀한 포인트 기반 기술자에서 세 가지 유형의 기하 원소—BB 중심, BB 면 중심, BB 모서리 중심—을 회귀한다.
• 후보 3D 경계 상자와 예측된 기하 원소 간의 거리를 측정하는 매개변수화된 거리 함수를 정의하여 객체 제안의 연속적 최적화를 가능하게 한다.
• 거리 함수의 국소 최소값은 고해상도 객체 제안에 해당하며, 이는 미분 가능한 최적화 과정을 통해 정밀 조정된다.
• 매칭 및 정밀 조정 모듈은 제안을 검출된 객체로 분류하고, 통합된 잠재 특징을 통해 기하 옵티멀(중심, 크기, 방향)을 예측하며 의미적 레이블을 할당한다.
• 다양한 기하 신호를 처리하기 위해 다수의 기술자 계산 타워를 활용하며, 각 객체당 기하 원소의 수를 유연하게 지원한다.
• 매칭된 기하 원소 간의 특징 집약은 보완적인 기하 및 의미 신호를 통합함으로써 검출 신뢰도와 기하 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 중심, 면, 모서리로 구성된 하이브리드 기하 원소 집합이 단일 원소 유형을 사용할 경우보다 3D 객체 검출 성능을 향상시킬 수 있는가?
• RQ2 미분 가능한 거리 함수를 통한 객체 제안의 연속적 최적화가 이산적 또는 비최적화된 제안 생성 방식보다 더 고품질의 검출 결과를 도출할 수 있는가?
• RQ3 과잉 결정된 기하 원소 집합이 실제 3D 스캔에서 예측 오류나 외곽선에 대한 강건성을 향상시킬 수 있는가?
• RQ4 다양한 기하 구조를 가진 도전적인 객체 카테고리에서 여러 원소 유형의 통합이 검출 정확도에 어떤 영향을 미치는가?
• RQ5 매칭된 기하 원소에서의 특징 집약이 검출된 객체의 분류 및 정밀 조정에 얼마나 기여하는가?

주요 결과

• H3DNet는 ScanNet에서 67.2% mAP@0.25를 달성하여, 이전 최신 기술 수준 방법(3D 포인트 위치만 사용) 대비 8.5% 상대적 향상률을 기록했다.
• SUN RGB-D에서 H3DNet는 60.1% mAP@0.25를 기록하여 동일한 기준 기준 방법 대비 2.4% 상대적 향상률을 기록했다.
• 특히 어려운 카테고리에서 성능 향상이 두드러졌다: ScanNet에서 창문(38.1% → 51.9%), 문(47.3% → 61.0%), 샤워 커튼(57.1% → 75.3%)의 경우.
• 기하 매개변수(중심, 크기, 각도, 존재 여부 또는 의미적 점수)의 정밀 조정을 제거하면 ScanNet에서 mAP@0.5가 14.6% 감소하여 정밀 조정의 핵심적 역할을 입증했다.
• 모서리 또는 면 원소만 사용할 경우 일부 카테고리에서 성능이 열악하다—예를 들어, 모서리 전용 검출은 샤워 커튼에서 실패하고, 면 전용 검출은 창문에서 성능이 열 劣하다—이를 통해 하이브리드 원소의 유용성을 입증했다.
• 더 많은 기술자 계산 타워를 추가하면 성능 향상이 이루어지나(예: mAP@0.25는 64.4에서 67.2로 증가), 그러나 네 개를 초과하면 수익 감소 현상이 나타나 성능 향상의 폭이 점점 줄어든다.