[논문 리뷰] Back-tracing Representative Points for Voting-based 3D Object Detection in Point Clouds

Bowen Cheng, Lu Sheng외 3명|arXiv (Cornell University)|2021. 04. 13.

3D Shape Modeling and Analysis참고 문헌 44인용 수 5

한 줄 요약

이 논문은 후보 중심에서 대표 점을 생성하고, 주변 시드 점을 재방문하여 특징 표현을 향상시키는 새로운 투표 기반 3D 객체 검출 방법인 BRNet을 제안한다. 후보 중심과 국소 표면 특징 간 상호 일관성을 유도함으로써, BRNet는 경량이면서도 효율적인 구조를 유지하면서도 ScanNet V2에서 +7.5%의 mAP@0.50, SUN RGB-D에서 +4.7%의 mAP@0.50를 기록하여 최신 기술 수준을 확립한다.

ABSTRACT

3D object detection in point clouds is a challenging vision task that benefits various applications for understanding the 3D visual world. Lots of recent research focuses on how to exploit end-to-end trainable Hough voting for generating object proposals. However, the current voting strategy can only receive partial votes from the surfaces of potential objects together with severe outlier votes from the cluttered backgrounds, which hampers full utilization of the information from the input point clouds. Inspired by the back-tracing strategy in the conventional Hough voting methods, in this work, we introduce a new 3D object detection method, named as Back-tracing Representative Points Network (BRNet), which generatively back-traces the representative points from the vote centers and also revisits complementary seed points around these generated points, so as to better capture the fine local structural features surrounding the potential objects from the raw point clouds. Therefore, this bottom-up and then top-down strategy in our BRNet enforces mutual consistency between the predicted vote centers and the raw surface points and thus achieves more reliable and flexible object localization and class prediction results. Our BRNet is simple but effective, which significantly outperforms the state-of-the-art methods on two large-scale point cloud datasets, ScanNet V2 (+7.5% in terms of mAP@0.50) and SUN RGB-D (+4.7% in terms of mAP@0.50), while it is still lightweight and efficient. Code will be available at https://github.com/cheng052/BRNet.

연구 동기 및 목표

• 현재 투표 기반 3D 검출기들이 시드 점 특징에 부분적 또는 이상치 영향을 받는다는 한계를 해결하기 위해.
• 후보 중심에서 대표 점을 생성함으로써 객체 범위를 더 잘 추정하여 객체 제안 품질을 향상시키기 위해.
• 후보 중심에서 추적된 대표 점 근처의 시드 점을 재방문함으로써 국소 구조적 특징 학습을 향상시키기 위해.
• 하나의 하향식 및 상향식 특징 상호작용 전략을 통해 더 견고하고 정확한 3D 검출을 달성하기 위해.
• 대규모 벤치마크에서 기존 방법들을 크게 능가하면서도 모델 효율성을 유지하기 위해.

제안 방법

• 투표 클러스터 중심이 예측한 3D 영역 내에서 클래스 무관하게 균일하게 점을 샘플링하는 대표 점 생성 모듈.
• 후보 클러스터 중심에서 가상의 대표 점을 생성하여 객체 범위를 추정하는 후행 추적 작업.
• 각 대표 점 주변 고정 반경 내의 시드 점을 수집하여 미세한 표면 세부 정보를 캡처하는 재방문 메커니즘.
• 재방문한 시드 점의 특징과 투표 특징을 융합하여 제안 품질을 향상시키는 정제 모듈.
• 후행 추적, 재방문, 정제를 투표 기반 검출 파이프라인에 통합한 엔드 투 엔드 학습 가능한 프레임워크.
• 대표 점에 대해 레이 기반 및 격자 기반 샘플링 전략을 모두 사용하였으며, 분석 결과 유사한 성능을 기록함.

실험 결과

연구 질문

• RQ1 후보 중심에서 대표 점을 생성적으로 후행 추적함으로써 객체 범위를 더 잘 추정함으로써 3D 객체 검출 성능을 향상시킬 수 있는가?
• RQ2 후행 추적된 대표 점 근처의 시드 점을 재방문함으로써 국소 구조적 특징 표현이 향상되는가?
• RQ3 투표 특징과 정제된 시드 특징 간 상호 일관성이 더 정확한 경계 상자 및 클래스 예측을 이끌 수 있는가?
• RQ4 기존의 투표 기반 방법과 비교할 때 제안된 후행 추적 및 재방문 전략의 성능 및 효율성은 어떠한가?
• RQ5 검출 정확도와 계산 비용 측면에서 대표 점에 대한 최적의 샘플링 전략은 무엇인가?

주요 결과

• BRNet는 기존 최신 기술 수준의 방법 대비 ScanNet V2에서 mAP@0.50 기준 7.5%의 절대적 향상을 달성한다.
• SUN RGB-D에서 BRNet는 기존 방법 대비 mAP@0.50를 4.7% 향상시켜 뛰어난 일반화 능력을 입증한다.
• 후행 추적, 재방문, 정제를 포함한 완전한 파이프라인은 기준 투표 방법 대비 ScanNet에서 약 10%의 mAP 향상을, SUN RGB-D에서는 약 6%의 mAP 향상을 기록한다.
• BRNet는 H3DNet 대비 3배 빠르며, 모델 크기는 H3DNet의 4분의 1에 불과하지만 성능에서 크게 앞서며.
• 4개의 백본을 사용하여 BRNet는 ScanNet에서 51.8%의 mAP@0.50를 기록하며, H3DNet를 3.7% 초월하고도 훨씬 더 작은 모델 크기를 확보한다.
• 절단 분석 결과, 후행 추적 및 재방문 작업이 필수적임을 확인하였으며, 함께 사용할 경우 뚜렷한 성능 향상이 발생한다.