[논문 리뷰] P2B: Point-to-Box Network for 3D Object Tracking in Point Clouds

Haozhe Qi, Feng Chen외 3명|arXiv (Cornell University)|2020. 05. 28.

Video Surveillance and Tracking Methods참고 문헌 40인용 수 5

한 줄 요약

P2B는 포인트 클라우드 내 3D 객체 추적을 위한 엔드 투 엔드 포인트 투 박스 네트워크를 제안하며, 시드 기반 특징 증강과 후후 투표를 활용하여 대상 중심을 국소화하고 3D 제안 및 검증을 동시에 수행한다. KITTI에서 최신 기술 대비 약 10% 높은 성공률과 정밀도를 달성하며, 단일 1080Ti GPU에서 45.5 FPS로 실행된다.

ABSTRACT

Towards 3D object tracking in point clouds, a novel point-to-box network termed P2B is proposed in an end-to-end learning manner. Our main idea is to first localize potential target centers in 3D search area embedded with target information. Then point-driven 3D target proposal and verification are executed jointly. In this way, the time-consuming 3D exhaustive search can be avoided. Specifically, we first sample seeds from the point clouds in template and search area respectively. Then, we execute permutation-invariant feature augmentation to embed target clues from template into search area seeds and represent them with target-specific features. Consequently, the augmented search area seeds regress the potential target centers via Hough voting. The centers are further strengthened with seed-wise targetness scores. Finally, each center clusters its neighbors to leverage the ensemble power for joint 3D target proposal and verification. We apply PointNet++ as our backbone and experiments on KITTI tracking dataset demonstrate P2B's superiority (~10%'s improvement over state-of-the-art). Note that P2B can run with 40FPS on a single NVIDIA 1080Ti GPU. Our code and model are available at https://github.com/HaozheQi/P2B.

연구 동기 및 목표

• RGB-D 입력에 의존하지 않고 오직 기하학적 데이터만을 사용하여 흩어진 순서가 없는 포인트 클라우드에서 3D 객체 추적의 과제를 해결한다.
• 기존 방법들이 비엔드 투 엔드 파이프라인, 광범위한 3D 탐색 또는 단일 차원의 전역 특징을 사용하는 데서 비롯되는 한계를 극복한다.
• 먼저 잠재적 대상 중심을 국소화한 후, 포인트 기반 제안 및 검증을 통합된 프레임워크에서 수행하여 효율적이고 정확한 추적을 가능하게 한다.
• 예측된 중심 주변의 이웃 포인트들을 통합 클러스터링하여 음영과 흐림에 대한 강건성을 향상시킨다.

제안 방법

• 백본 네트워크의 입력으로 템플릿 및 검색 영역 포인트 클라우드에서 시드를 추출한다.
• 순열 불변 특징 증강을 적용하여 유사성 및 전역 특징 인코딩을 통해 템플릿의 대상 특화 정보를 검색 영역 시드에 통합한다.
• 후후 투표를 사용하여 증강된 시드에서 잠재적 대상 중심을 회귀하며, 투표 강도는 시드 단위의 대상성 점수에 의해 안내된다.
• 예측된 중심 주변의 이웃 포인트를 클러스터링하여 강력한 3D 제안을 생성하고, 통합 특징을 사용하여 공동 검증을 수행한다.
• 시드 순서에 대한 불변성을 유지하면서 계층적 특징을 추출하기 위해 수정된 PointNet++ 백본을 활용한다.
• 모든 네트워크를 엔드 투 엔드로 훈련하여 중심 회귀 및 대상성 예측을 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 광범위한 탐색이나 비가역적 구성 요소에 의존하는 기존 3D 추적 방법보다 포인트 기반 엔드 투 엔드 학습 프레임워크가 성능을 뛰어넘을 수 있는가?
• RQ2 유사성과 전역 특징을 활용한 대상 특화 특징 증강이 희박한 포인트 클라우드에서 정확도를 향상시킬 수 있는가?
• RQ3 예측된 중심 주변의 클러스터링을 통한 통합 3D 제안 및 검증이 음영과 노이즈에 대한 강건성을 향상시킬 수 있는가?
• RQ4 기존 최신 기술 대비 뛰어난 정확도를 달성하면서도 높은 속도를 유지할 수 있는가?
• RQ5 오직 포인트 클라우드만을 사용할 경우 템플릿의 품질이 추적 성능에 미치는 영향은 어떠한가?

주요 결과

• P2B는 KITTI 추적 벤치마크에서 이전 최신 기술인 SC3D 대비 성공률과 정밀도 모두 10%의 상대적 향상을 달성한다.
• 단일 NVIDIA 1080Ti GPU에서 45.5 FPS로 실행되며, 동일 조건에서 SC3D의 1.8 FPS보다 뚜렷하게 빠른 성능을 보인다.
• 희박한 포인트 클라우드 환경에서도 뛰어난 성능을 보이며, SC3D가 실패하거나 발산하는 상황에서도 안정적인 추적을 유지한다.
• 초기 템플릿에 정보가 적은 포인트가 포함되어 있을 경우 성능 저하가 발생함으로써, 템플릿 품질에 민감함을 보인다.
• 국소적 유사성과 전역 템플릿 특징을 모두 활용한 특징 증강은 높은 대상성 점수를 통해 강력한 분류 능력을 보여주며, 진짜 대상 시드에서 높은 점수를 기록한다.
• 예측된 중심 주변의 이웃 포인트를 클러스터링하면 제안 품질이 향상되고, 특히 음영 상황에서 강력한 공동 검증이 가능해진다.