[논문 리뷰] Deformable PV-RCNN: Improving 3D Object Detection with Learned Deformations

Prarthana Bhattacharyya, Krzysztof Czarnecki|arXiv (Cornell University)|2020. 08. 20.

Advanced Neural Network Applications참고 문헌 6인용 수 29

한 줄 요약

Deformable PV-RCNN는 유연한 변형 키포인트 샘플링과 컨텍스트 게이팅을 도입하여 포인트 클라우드에서의 3차원 객체 검출 성능을 향상시킨다. 이는 흐린, 혼잡하거나 장거리 환경에서 특징을 적응적으로 집중함으로써 분류에 유의미한 특징을 강조한다. KITTI에서 최신 기준 성능을 달성하였으며, 자전거 기준 4% 향상, 보행자 기준 3.5% 향상되었고, 장거리에서의 강인성 향상과 높은 키포인트 수에 대한 의존도 감소를 보였다.

ABSTRACT

We present Deformable PV-RCNN, a high-performing point-cloud based 3D object detector. Currently, the proposal refinement methods used by the state-of-the-art two-stage detectors cannot adequately accommodate differing object scales, varying point-cloud density, part-deformation and clutter. We present a proposal refinement module inspired by 2D deformable convolution networks that can adaptively gather instance-specific features from locations where informative content exists. We also propose a simple context gating mechanism which allows the keypoints to select relevant context information for the refinement stage. We show state-of-the-art results on the KITTI dataset.

연구 동기 및 목표

• PV-RCNN에서 무작위 키포인트 샘플링의 한계를 해결함으로써, 다양한 객체 크기, 포인트 클라우드 밀도, 환경 혼잡도에 적응하지 못하는 문제를 해결한다.
• 포인트 클라우드 내에서 눈에 띄는 분류 특징과 일치하는 적응형 키포인트 오프셋을 학습하여 3차원 객체 검출의 프포절 정밀도를 향상시킨다.
• 학습된 조절 가중치를 사용해 동적으로 컨텍스트를 게이팅함으로써 정밀도 향상을 위해 불필요한 특징을 억제하고 관련 특징을 강조한다.
• 낮은 포인트 밀도와 모호한 특징을 가진 도전적인 상황—특히 장거리 검출 및 소형 객체—에서 뛰어난 성능을 달성한다.

제안 방법

• 학습된 가중치 행렬 $ W_{\text{offset}} $ 를 통해 키포인트 오프셋을 학습하는 적응형 변형 모듈을 제안하여, 국소적 특징 차이에 기반해 더 정보가 풍부한 영역으로 키포인트가 이동하도록 한다.
• 2D 변형 컨볼루션을 영감으로 삼아, $ v'_{i} = v_{i} + \tanh(W_{\text{align}}[f'_{i}]) $ 를 사용한 유연한 정렬 모듈을 도입하여 키포인트를 눈에 띄는 특징으로 재배치한다.
• 컨텍스트 게이팅 메커니즘을 통합하여, 조절 게이팅 $ g = \sigma(W_{\text{gate}}f_{i} + b_{\text{gate}}) $ 를 통해 관련 컨텍스트 특징을 선택하고, 최종 특징은 $ f^{g}_{i} = g \odot W_{\text{fc}}f_{i} $ 로 계산한다.
• PointNet++ 기반의 특징 추출 파이프라인과 변형 키포인트 정밀도를 결합하여, PV-RCNN의 다중 척도 특징 집합 기능을 유지한다.
• 표준 3차원 객체 검출 손실을 사용해 엔드 투 엔드로 모델을 훈련하며, KITTI 데이터셋을 활용해 최적화 및 평가를 수행한다.
• 소음이나 관련이 없는 컨텍스트를 억제함으로써 특징 표현을 향상시키는 단순하면서도 효과적인 컨텍스트 융합 모듈을 도입한다.

실험 결과

연구 질문

• RQ1 학습 가능한 변형 키포인트 샘플링이 포인트 클라우드의 밀도 및 척도 변화에 따라 3차원 객체 검출 성능을 향상시킬 수 있는가?
• RQ2 컨텍스트 게이팅을 통한 적응형 특징 정밀도 향상으로 혼잡한 환경(예: 도시 교통 환경)에서 오류 검출을 줄일 수 있는가?
• RQ3 제안된 방법이 소형 또는 먼 거리에 있는 객체(예: 보행자, 자전거 기준)의 검출 정확도를 어느 정도 향상시키는가?
• RQ4 개선된 공간 정렬 및 컨텍스트 선택 덕분에 높은 키포인트 수 없이도 높은 성능을 유지할 수 있는가?
• RQ5 포인트 클라우드가 흐린 장거리 검출 환경에서 PV-RCNN에 비해 모델 성능은 어떻게 비교되는가?

주요 결과

• Deformable PV-RCNN는 KITTI 중간 벤치마크에서 차량 기준 83.30% AP, 자전거 기준 73.46% AP, 보행자 기준 58.33% AP를 달성하였으며, PV-RCNN 대비 자전거 기준 4.0% 향상, 보행자 기준 3.5% 향상되었다.
• 30–50m 거리 범위에서, 자전거 AP는 PV-RCNN의 35.15%에서 Deformable PV-RCNN로 47.00%로 향상되어 장거리 검출에서 뛰어난 성능을 입증하였다.
• 단지 512개의 키포인트로도 PV-RCNN와 유사한 성능을 달성하여, 변형성 덕분에 높은 키포인트 수가 필요로 하지 않음을 시사한다.
• 절단 분석 결과, 변형 오프셋과 컨텍스트 게이팅 모두 성능 향상에 기여하며, 특히 보행자 클래스에서 가장 큰 향상이 관찰되었다.
• 정성적 결과에서는 Deformable PV-RCNN가 이전에 놓쳤거나 잘못된 방향으로 인식된 객체(예: 자전거, 보행자)를 탐지하고, 앉아 있는 사람을 잘못 검출하는 혼잡한 요소를 억제함을 확인하였다.