[논문 리뷰] PTT: Point-Track-Transformer Module for 3D Single Object Tracking in Point Clouds

Jiayao Shan, Sifan Zhou외 2명|arXiv (Cornell University)|2021. 08. 14.

Video Surveillance and Tracking Methods인용 수 10

한 줄 요약

이 논문은 포인트 클라우드에서 3D 단일 객체 추적을 위한 새로운 트랜스포머 기반 아키텍처인 Point-Track-Transformer (PTT) 모듈을 제안한다. 이 모듈은 자기주의성과 위치 인코딩을 통해 중요한 포인트에 가중치를 주어 특징 주의를 향상시킨다. P2B 프레임워크에 통합된 PTT-Net은 KITTI 데이터셋에서 성공도와 정밀도 모두 약 10% 향상되며, 실시간 추론 속도로 약 40 FPS를 유지하여 최신 기술 수준의 성능을 달성한다.

ABSTRACT

3D single object tracking is a key issue for robotics. In this paper, we propose a transformer module called Point-Track-Transformer (PTT) for point cloud-based 3D single object tracking. PTT module contains three blocks for feature embedding, position encoding, and self-attention feature computation. Feature embedding aims to place features closer in the embedding space if they have similar semantic information. Position encoding is used to encode coordinates of point clouds into high dimension distinguishable features. Self-attention generates refined attention features by computing attention weights. Besides, we embed the PTT module into the open-source state-of-the-art method P2B to construct PTT-Net. Experiments on the KITTI dataset reveal that our PTT-Net surpasses the state-of-the-art by a noticeable margin (~10%). Additionally, PTT-Net could achieve real-time performance (~40FPS) on NVIDIA 1080Ti GPU. Our code is open-sourced for the robotics community at https://github.com/shanjiayao/PTT.

연구 동기 및 목표

• 희박하고 질서가 없는 포인트 클라우드에서 3D 객체를 추적하는 데 도전하는 것, 특히 저조도 또는 비강성 상황에서의 추적 도전 과제를 해결하기 위해.
• 정신적이고 기하학적으로 중요한 포인트에 초점을 맞춰 3D 단일 객체 추적의 특징 표현을 향상시키기 위해.
• 기존의 시아미즈 및 RPN 기반 방법이 공간적 및 의미적 중요도에 따라 특징을 가중치를 주지 못하는 한계를 극복하기 위해.
• 포인트 클라우드를 사용하여 3D SOT 모델을 엔드 투 엔드로 훈련시키며, 트랜스포머의 순열 불변성 및 장거리 의존성 모델링 능력을 활용하기 위해.
• RGB-D 데이터에 의존하지 않고도 다양한 조명 조건에서의 강건성을 확보하면서 실시간 성능를 달성하기 위해.

제안 방법

• PTT 모듈은 세 가지 구성 요소로 이루어져 있다: 의미적으로 유사한 포인트를 군집화하기 위한 특징 임bedding, 3D 좌표 정보를 통합하기 위한 학습 가능한 위치 인코딩, 중요도에 따라 특징을 개선하기 위한 자기주의성.
• 특징 임bedding은 원시 포인트 특징을 공유된 임베딩 공간으로 매핑하여 유사한 의미가 가까워지도록 하여 특징의 구분 능력을 향상시킨다.
• 위치 인코딩은 사인 함수를 사용하여 포인트 특징에 3D 공간 좌표 정보를 통합하여 네트워크가 기하학적 위치를 구분할 수 있도록 한다.
• 자기주의성은 모든 포인트 간의 주의 가중치를 계산하여 네트워크가 대상 객체의 핵심 영역에 동적으로 초점을 맞출 수 있도록 한다.
• PTT 모듈은 P2B 네트워크 아키텍처의 두 단계에 모두 삽입되어 다중 수준에서 특징을 개선함으로써 검출 및 회귀 정확도를 향상시킨다.
• 전체 PTT-Net은 엔드 투 엔드로 훈련되며, 트랜스포머의 순열 불변성을 활용하여 순서가 없는 포인트 클라우드 입력을 효과적으로 처리한다.

Figure 1: Exemplified illustration to show how PTT module works . Compared with the existing 3D single object tracking method, our PTT module works after calculating the similarity features, and weighs the features based on their importance to improve tracking performance.

실험 결과

연구 질문

• RQ1 모든 포인트를 동일하게 취급하는 대신 중요한 특징에 집중함으로써 트랜스포머 기반 모듈이 포인트 클라우드에서 3D 단일 객체 추적 성능을 향상시킬 수 있는가?
• RQ2 포인트 클라우드 추적 프레임워크에 위치 인코딩과 자기주의성을 통합할 경우, 희박하거나 가림 상황에서의 강건성에 어떤 영향을 미치는가?
• RQ3 트랜스포머 기반 모듈이 기존의 시아미즈 및 RPN 기반 3D SOT 방법을 능가하면서도 표준 벤치마크에서 실시간 추론을 달성할 수 있는가?
• RQ4 비강성 객체, 예를 들어 보행자와 같은 경우 PTT 모듈이 희박한 포인트 클라우드 또는 배경 포인트와 시각적으로 유사한 상황에서 추적 성능을 향상시킬 수 있는가?
• RQ5 두 단계 3D 추적 파이프라인 내에서 PTT 모듈을 최적의 위치에 배치하면 성능 향상이 최대가 되는가?

주요 결과

• PTT-Net은 KITTI 3D 추적 벤치마크에서 이전 최신 기술 수준의 방법보다 성공도와 정밀도 지표에서 각각 약 10%의 절대적 향상을 달성한다.
• 이 방법은 실시간 추론 속도를 유지하여 단일 NVIDIA 1080Ti GPU에서 약 40 FPS를 달성하며, SC3D(1.8 FPS)와 3D-SiamRPN(20.8 FPS)을 모두 능가한다.
• PTT 모듈은 희박한 상황에서 추적 강건성을 크게 향상시켜, P2B와 SC3D가 실패하는 바탕이 50개 이하의 포인트로도 목표를 성공적으로 추적한다.
• 시각적 주의 맵을 통해 PTT-Net이 포인트 수가 적거나 배경과 시각적으로 유사하더라도 일관되게 전경 포인트에 초점을 맞추는 것으로 나타났으며, 효과적인 특징 가중치 부여를 보여준다.
• P2B 네트워크의 두 단계 모두에 PTT 모듈을 통합할 경우 최고의 성능를 달성하여 다단계 정밀 조정의 유용성을 확인한다.
• 실패 사례는 주로 초기 프레임에서 포인트 수가 0이거나 극도로 적을 경우 발생하며, 이는 방법의 성능가 제한 요소가 아키텍처가 아니라 입력 데이터 품질에 의해 결정됨을 시사한다.

Figure 2: PTT module architecture. It consists of three blocks: feature embedding, position encoding, and self-attention. The whole inputs are the coordinates and their corresponding features. Feature embedding module maps input features into embedding space. In position encoding module, the k-neare