[논문 리뷰] SIENet: Spatial Information Enhancement Network for 3D Object Detection from Point Cloud

Ziyu Li, Yuncong Yao외 3명|arXiv (Cornell University)|2021. 03. 29.

Advanced Neural Network ApplicationsComputer Science참고 문헌 45인용 수 17

한 줄 요약

SIENet는 LiDAR 데이터에서 점군 밀도 불균형 문제를 해결하기 위해 후보 제안 영역 내에서 조밀하고 완전한 형태를 예측하는 공간정보강화(Spatial Information Enhancement, SIE) 모듈과 강력한 특징 추출을 위한 하이브리드 패러다임 영역 제안 네트워크(Hybrid-Paradigm Region Proposal Network, HP-RPN)를 도입한 이단계 3D 객체 검출 프레임워크를 제안한다. 이 방법은 KITTI에서 최신 기준 성능을 달성하며, 장거리(20m 이상)에서 4.39 AP 향상으로 희박한 장거리 환경에서의 검출 정확도를 크게 향상시킨다.

ABSTRACT

LiDAR-based 3D object detection pushes forward an immense influence on autonomous vehicles. Due to the limitation of the intrinsic properties of LiDAR, fewer points are collected at the objects farther away from the sensor. This imbalanced density of point clouds degrades the detection accuracy but is generally neglected by previous works. To address the challenge, we propose a novel two-stage 3D object detection framework, named SIENet. Specifically, we design the Spatial Information Enhancement (SIE) module to predict the spatial shapes of the foreground points within proposals, and extract the structure information to learn the representative features for further box refinement. The predicted spatial shapes are complete and dense point sets, thus the extracted structure information contains more semantic representation. Besides, we design the Hybrid-Paradigm Region Proposal Network (HP-RPN) which includes multiple branches to learn discriminate features and generate accurate proposals for the SIE module. Extensive experiments on the KITTI 3D object detection benchmark show that our elaborately designed SIENet outperforms the state-of-the-art methods by a large margin.

연구 동기 및 목표

• 희박한 점군 샘플링으로 인해 장거리에서 성능 저하가 발생하는 문제를 해결하기 위해 LiDAR 기반 3D 객체 검출에서 점군 밀도 불균형 문제에 도전한다.
• 후보 제안 영역 내에서 불완전하고 희박한 점군 세트로부터 공간적 구조 정보를 향상시켜 3D 객체 검출을 위한 특징 표현을 개선한다.
• 밀도 불균형 상황에서도 다중 척도 특징을 효과적으로 추출하고 고재현율 제안을 생성할 수 있는 강력한 영역 제안 네트워크를 개발한다.
• 희박한 배경 점군으로부터 조밀하고 완전한 형태를 예측하는 공간정보강화 메커니즘을 설계하여 상자 보정을 위한 의미적 및 구조적 특징을 풍부하게 한다.

제안 방법

• 3D 객체 제안 영역 내 희박한 점군 세트에서 완전하고 조밀한 공간적 형태를 예측하기 위해 학습 가능한 형태 생성 헤드를 사용하는 공간정보강화(Spatial Information Enhancement, SIE) 모듈을 제안한다.
• 세 가지 브랜치로 구성된 하이브리드 패러다임 영역 제안 네트워크(Hybrid-Paradigm Region Proposal Network, HP-RPN)를 도입한다: 다중 척도 특징 추출을 위한 spconv 기반 브랜치, 공간 학습을 유도하기 위한 보조 브랜치, 동적 특징 재가중을 위한 키포인트 브랜치.
• SIE 모듈에서 주어진 제안 특징과 강화된 공간적 특징을 보다 효과적으로 통합하기 위해 어텐션 기반 특징 융합을 활용한다.
• 이중 단계 검출 파이프라인을 활용한다: HP-RPN이 첫 번째 단계에서 제안을 생성하고, 두 번째 단계에서 SIE와 상자 보정을 수행한다.
• 대규모이고 순서 없는 점군을 처리하는 데 효율성과 정확도를 유지하기 위해 희박한 3D 컨볼루션과 점기반 특징 학습을 활용한다.
• HP-RPN에서 보조 브랜치와 spconv 브랜치 간의 컨텍스트 융합을 적용하여 특징의 구분 능력과 제안 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 희박한 점군 세트에서 완전하고 조밀한 공간적 형태를 예측하는 것이 장거리 및 저밀도 환경에서 3D 객체 검출 성능 향상에 기여하는가?
• RQ2 다양한 전문화된 브랜치를 갖춘 하이브리드 패러다임 RPN 설계가 밀도 불균형 상황에서 제안 품질 향상에 얼마나 효과적인가?
• RQ3 구조 인식 공간 정보의 통합이 3D 검출기의 특징 표현 및 상자 보정에 얼마나 기여하는가?
• RQ4 SIE 모듈 내 어텐션 기반 융합 메커니즘이 단순 연결보다 더 나은 특징 통합을 이끌어내는가?

주요 결과

• SIENet는 이전 최신 기준 방법 대비 KITTI 3D 검출 벤치마크에서 모든 거리 범위에서 평균 3.23 AP 향상을 달성한다.
• 중간 거리에서는 5.13 AP 향상, 장거리(20m 이상)에서는 4.39 AP 향상으로, 희박한 점군에 대한 강력한 내성성을 입증한다.
• 제거 실험 결과, 어 attention 기반 융합을 갖춘 SIE 모듈이 가장 높은 성능 향상을 보였으며, 중간 난이도 AP는 0.84%, 고난이도 AP는 0.42% 향상되었다.
• 보조 브랜치와 컨텍스트 융합 구성 요소를 모두 갖춘 HP-RPN이 최고의 성능을 보였으며, 쉬운 예제에서 0.54% 향상, 중간에서 0.95%, 고난이도에서 0.38% 향상되었다.
• SIE 모듈을 제거하면 성능에 심각한 하락이 발생하여, 상자 보정을 위한 특징 표현 향상에서 그 핵심적 역할을 확인할 수 있다.
• 근거리에서 경쟁적인 성능(AP ~92)을 유지하면서도 장거리에서 다른 모델들을 크게 능가함으로써, 장거리 검출에 대한 모델의 집중도를 검증한다.