[논문 리뷰] PTTR: Relational 3D Point Cloud Object Tracking with Transformer

Changqing Zhou, Zhipeng Luo외 6명|arXiv (Cornell University)|2021. 12. 06.

3D Shape Modeling and Analysis인용 수 7

한 줄 요약

PTTR는 관계 인식 샘플링과 포인트 관계 트랜스포머(PRT)를 활용한 트랜스포머 기반 아키텍처를 사용하는 새로운 3D 포인트 클라우드 객체 추적 방법으로, 고정밀도 및 고효율성을 갖춘 군집-에서-세부 추적을 실현한다. KITTI 및 새로운 대규모 Waymo SOT 벤치마크에서 기존 최고 성능 기준을 초월하며, 낮은 추론 비용을 유지한다.

ABSTRACT

In a point cloud sequence, 3D object tracking aims to predict the location and orientation of an object in the current search point cloud given a template point cloud. Motivated by the success of transformers, we propose Point Tracking TRansformer (PTTR), which efficiently predicts high-quality 3D tracking results in a coarse-to-fine manner with the help of transformer operations. PTTR consists of three novel designs. 1) Instead of random sampling, we design Relation-Aware Sampling to preserve relevant points to given templates during subsampling. 2) Furthermore, we propose a Point Relation Transformer (PRT) consisting of a self-attention and a cross-attention module. The global self-attention operation captures long-range dependencies to enhance encoded point features for the search area and the template, respectively. Subsequently, we generate the coarse tracking results by matching the two sets of point features via cross-attention. 3) Based on the coarse tracking results, we employ a novel Prediction Refinement Module to obtain the final refined prediction. In addition, we create a large-scale point cloud single object tracking benchmark based on the Waymo Open Dataset. Extensive experiments show that PTTR achieves superior point cloud tracking in both accuracy and efficiency.

연구 동기 및 목표

• 단일 객체 추적(SOT)에서 발생하는 3D 포인트 클라우드의 흐าก함, 가림, 무문자성 문제를 해결하기 위해 더 견고하고 효율적인 추적 프레임워크를 설계한다.
• 장거리 의존성과 관계적 맥락을 포착하는 새로운 어텐션 메커니즘을 통해 템플릿과 검색 포인트 클라우드 간의 특징 매칭을 향상시킨다.
• 추론 속도를 희생시키지 않은 채 점진적 정밀화를 통해 정확도를 향상시키는 군집-에서-세부 추적 파이프라인을 개발한다.
• Waymo 오픈 데이터셋 기반으로 새로운 대규모, 균형 잡힌, 종합적인 SOT 벤치마크를 구축하여 3D 추적 방법의 보다 종합적인 평가를 지원한다.

제안 방법

• 템플릿과 관련성이 높은 포인트를 특징 유사도를 기반으로 유지함으로써 검색 포인트 클라우드에서 비랜덤 샘플링 전략인 관계 인식 샘플링을 도입한다.
• 자기 어텐션을 통해 템플릿 및 검색 포인트 클라우드의 국소적·전역적 특징을 강화하고, 교차 어텐션을 통해 이들 간의 특징을 매칭하는 이중 어텐션 메커니즘을 갖춘 포인트 관계 트랜스포머(PRT)를 제안한다.
• 경량 예측 정밀화 모듈(PRM)을 활용하여 국소적 특징 풀링을 통해 군집 예측을 정밀화함으로써 최소한의 계산 오버헤드로 국소화 정확도를 향상시킨다.
• PRT 처리 이전에 PointNet++ 백본을 사용해 초기 포인트 특징을 추출함으로써 흐릿한 3D 포인트 클라우드로부터 효과적인 표현 학습을 가능하게 한다.
• 관계 어텐션 모듈에서 L2 정규화와 오프셋 어텐션을 적용하여 코사인 유사도와 공간 오프셋 인식을 강조함으로써 특징 매칭을 향상시킨다.
• 샘플링, 특징 학습, 추적 예측의 공동 최적화를 가능하게 하기 위해 엔드 투 엔드 방식으로 모델을 훈련 및 평가한다.

실험 결과

연구 질문

• RQ1 관계 어텐션을 갖춘 트랜스포머 기반 아키텍처가 기존 상관 기반 방법에 비해 3D 포인트 클라우드 추적 정확도를 향상시킬 수 있는가?
• RQ2 관계 인식 샘플링은 흐릿한 포인트 클라우드에서 랜덤 또는 균일 샘플링에 비해 더 나은 특징 표현과 추적 성능를 제공하는가?
• RQ3 정밀화 모듈을 갖춘 군집-에서-세부 추적 파이프라인은 추론 속도를 저하시키지 않은 채 국소화 정확도를 어느 정도 향상시키는가?
• RQ4 제안된 방법은 실제 환경에서 다양한 객체 유형과 장기 추적 시퀀스에 대해 얼마나 잘 일반화되는가?

주요 결과

• PTTR는 KITTI 추적 벤치마크에서 58.4%의 성공률과 77.8%의 정밀도로 기존 최고 성능 기준을 초월하며 새로운 최고 성능을 달성했다.
• 최근 도입된 Waymo SOT 데이터셋에서 PTTR는 평균 50.3%의 성공률과 64.9%의 평균 정밀도를 기록했으며, SC3D와 P2B에 비해 각각 17.2점과 11.0점 높은 평균 성공률을 확보했다.
• 절단 실험 결과, 포인트 관계 트랜스포머(PRT)와 예측 정밀화 모듈(PRM)이 모두 필수적임을 확인했으며, PRT만으로도 코사인 유사도 기반 베이스라인 대비 평균 성공률이 8.8% 향상되었다.
• 관계 어텐션 모듈의 L2 정규화 및 오프셋 어텐션 구성 요소가 각각 성능 향상에 기여했으며, 특히 코사인 거리 기반 특징 매칭 향상에 정규화가 매우 효과적임을 입증했다.
• PRM 없이도 PTTR는 KITTI에서 평균 56.7%의 성공률을 기록했으며, 강력한 군집 예측 능력을 보였다.
• 실패 사례는 주로 극도로 흐릿한 포인트 클라우드에서 기인하며, 이는 다중 프레임 시간적 모델링이 낮은 신호 환경에서의 강인성을 더욱 향상시킬 수 있음을 시사한다.