[論文レビュー] PTT: Point-Track-Transformer Module for 3D Single Object Tracking in Point Clouds

Jiayao Shan, Sifan Zhou+2 more|arXiv (Cornell University)|Aug 14, 2021

Video Surveillance and Tracking Methods被引用数 10

ひとこと要約

本稿では、ポイントクラウドにおける3次元単一オブジェクト追跡のための新しいトランスフォーマー基盤アーキテクチャ、Point-Track-Transformer (PTT) モジュールを提案する。このモジュールは、自己注意と位置符号化を用いて重要なポイントに重みを付けることで特徴の注目度を向上させる。P2Bフレームワークに統合されたPTT-Netは、KITTIデータセットにおいてSuccessとPrecisionの両面で約10%の向上を達成し、同時に1秒間に約40 FPSのリアルタイム推論を維持する。

ABSTRACT

3D single object tracking is a key issue for robotics. In this paper, we propose a transformer module called Point-Track-Transformer (PTT) for point cloud-based 3D single object tracking. PTT module contains three blocks for feature embedding, position encoding, and self-attention feature computation. Feature embedding aims to place features closer in the embedding space if they have similar semantic information. Position encoding is used to encode coordinates of point clouds into high dimension distinguishable features. Self-attention generates refined attention features by computing attention weights. Besides, we embed the PTT module into the open-source state-of-the-art method P2B to construct PTT-Net. Experiments on the KITTI dataset reveal that our PTT-Net surpasses the state-of-the-art by a noticeable margin (~10%). Additionally, PTT-Net could achieve real-time performance (~40FPS) on NVIDIA 1080Ti GPU. Our code is open-sourced for the robotics community at https://github.com/shanjiayao/PTT.

研究の動機と目的

• 疎で不規則なポイントクラウド、特に視認性が低いまたは非剛体な状況下での3次元オブジェクト追跡の課題に対処すること。
• 意味的および幾何学的に重要なポイントに注目することで、3次元単一オブジェクト追跡における特徴表現を向上させること。
• 空間的および意味的重要性に基づいて特徴を重み付けできない既存のシアンプス型およびRPNベースの手法の限界を克服すること。
• ポイントクラウドを用いたエンドツーエンドの3次元SOTモデルの学習を可能とし、トランスフォーマーの置換不変性および長距離依存性のモデル化能力を活用すること。
• RGB-Dデータに依存せずにリアルタイム性能を達成し、照明条件の変化に対しても頑健であることを保証すること。

提案手法

• PTTモジュールは3つのコンponentから構成される：意味的に類似したポイントをグループ化する特徴埋め込み、3次元座標情報を注入する学習可能な位置符号化、重要度に基づいて特徴を精錬する自己注意。
• 特徴埋め込みは、生のポイント特徴を類似した意味的特徴が近くなる共有埋め込み空間にマップすることで、特徴の識別能を向上させる。
• 位置符号化は正弦関数を用いてポイント特徴に3次元空間座標情報を注入し、ネットワークが幾何学的位置を区別できるようにする。
• 自己注意はすべてのポイント間で注目度重みを計算し、ネットワークが対象オブジェクトの重要な領域に動的に注目できるようにする。
• PTTモジュールはP2Bネットワークアーキテクチャの両ステージに挿入され、複数の段階で特徴を精錬することで、検出および回帰の精度を向上させる。
• PTT-Netはエンドツーエンドで学習され、ポイントクラウド入力の順序に依存しない性質を活かして、無順序なポイントクラウド入力に対しても効果的に対処できる。

Figure 1: Exemplified illustration to show how PTT module works . Compared with the existing 3D single object tracking method, our PTT module works after calculating the similarity features, and weighs the features based on their importance to improve tracking performance.

実験結果

リサーチクエスチョン

• RQ1 すべてのポイントに等しく注目するのではなく、顕著な特徴に注目することで、トランスフォーマー基盤モジュールがポイントクラウドにおける3次元単一オブジェクト追跡性能を向上させられるか？
• RQ2 ポイントクラウド追跡フレームワークに位置符号化と自己注意を統合することで、疎な状況や遮蔽状況下での頑健性にどのような影響を与えるか？
• RQ3 トランスフォーマー基盤モジュールは、既存のシアンプス型およびRPNベースの3次元SOT手法を凌駕する性能を発揮しながら、リアルタイム推論を達成できるか？
• RQ4 PTTモジュールは、ポイントクラウドが疎で、背景ポイントと視覚的に類似しているような非剛体オブジェクト（例：歩行者）の追跡性能を向上させられるか？
• RQ5 2段階の3次元追跡パイプライン内でのPTTモジュールの最適な配置はどこか？性能向上を最大化するには？

主な発見

• PTT-Netは、KITTI 3Dトラッキングベンチマークにおいて、前回の最先端手法よりもSuccessおよびPrecisionの両指標で約10%の絶対的向上を達成した。
• 本手法はリアルタイム推論速度を維持しており、1台のNVIDIA 1080Ti GPUで約40 FPSを達成した。これはSC3D（1.8 FPS）および3D-SiamRPN（20.8 FPS）を上回る。
• PTTモジュールは、疎な状況下での追跡の頑健性を顕著に向上させ、P2BやSC3Dが失敗するような50ポイント未満のターゲットでも正常に追跡できた。
• 視覚的注目マップでは、前景ポイントがわずかであっても、または背景と視覚的に類似していても、PTT-Netが一貫して前景ポイントに注目していることが示された。これは効果的な特徴重み付けを示している。
• P2Bネットワークの両ステージにPTTモジュールを埋め込むことで、最も高い性能が得られ、マルチステージの精錬の利点を確認した。
• 失敗事例の主な原因は、初期フレームでポイント数がゼロまたは極めて少ない場合であり、これは本手法の性能がアーキテクチャの制限ではなく、入力データの品質に依存していることを示している。

Figure 2: PTT module architecture. It consists of three blocks: feature embedding, position encoding, and self-attention. The whole inputs are the coordinates and their corresponding features. Feature embedding module maps input features into embedding space. In position encoding module, the k-neare