[論文レビュー] PTTR: Relational 3D Point Cloud Object Tracking with Transformer

Changqing Zhou, Zhipeng Luo+6 more|arXiv (Cornell University)|Dec 6, 2021

3D Shape Modeling and Analysis被引用数 7

ひとこと要約

PTTRは、関係認識サンプリングとポイント関係Transformer（PRT）を活用したトランスフォーマー基盤アーキテクチャを用いた新規な3次元ポイントクラウドオブジェクトトラッキング手法であり、粗くから細かくまでのトラッキングを高精度かつ高効率に実現する。KITTIおよび新規の大規模なWaymo SOTベンチマークにおいて、従来手法を大きく上回る新たなSOTAを達成し、推論コストも低く抑えている。

ABSTRACT

In a point cloud sequence, 3D object tracking aims to predict the location and orientation of an object in the current search point cloud given a template point cloud. Motivated by the success of transformers, we propose Point Tracking TRansformer (PTTR), which efficiently predicts high-quality 3D tracking results in a coarse-to-fine manner with the help of transformer operations. PTTR consists of three novel designs. 1) Instead of random sampling, we design Relation-Aware Sampling to preserve relevant points to given templates during subsampling. 2) Furthermore, we propose a Point Relation Transformer (PRT) consisting of a self-attention and a cross-attention module. The global self-attention operation captures long-range dependencies to enhance encoded point features for the search area and the template, respectively. Subsequently, we generate the coarse tracking results by matching the two sets of point features via cross-attention. 3) Based on the coarse tracking results, we employ a novel Prediction Refinement Module to obtain the final refined prediction. In addition, we create a large-scale point cloud single object tracking benchmark based on the Waymo Open Dataset. Extensive experiments show that PTTR achieves superior point cloud tracking in both accuracy and efficiency.

研究の動機と目的

• 3次元ポイントクラウドの疎らさ、隠蔽、テクスチャ不足といった課題に対処するため、より強力で効率的なトラッキングフレームワークの設計を目的とする。
• 長距離依存関係と関係的文脈を捉える新しいアテンションメカニズムを用いて、テンプレートと検索ポイントクラウド間の特徴マッチングを向上させる。
• 粗くから細かくまでのトラッキングパイプラインを構築し、推論速度を損なわずに段階的精錬によって精度を向上させる。
• Waymoオープンデータセットに基づき、大規模かつバランスの取れた包括的なSOTベンチマークを新規に構築し、3次元トラッキング手法の包括的評価を支援すること。

提案手法

• 特徴類似度を活用して、テンプレートに対して最も関連性の高いポイントを保持する非ランダムなサンプリング戦略「関係認識サンプリング」を導入する。
• 自己アテンションでテンプレートおよび検索ポイントクラウドの局所的・グローバル特徴を強化するとともに、クロスアテンションで両者の特徴をマッチングする二重アテンション機構を備えたポイント関係トランスフォーマー（PRT）を提案する。
• 局所的特徴プーリングを用いて粗い予測を精錬する軽量な予測精錬モジュール（PRM）を採用し、計算コストを最小限に抑えつつ局所化精度を向上させる。
• PRTによる処理の前段階でPointNet++バックボーンを用いて初期のポイント特徴を抽出し、疎な3次元ポイントクラウドからの有効な表現学習を可能にする。
• 関係アテンションモジュールにおいてL2正規化とオフセットアテンションを適用し、コサイン類似度と空間オフセット認識を強調することで、特徴マッチングを改善する。
• エンドツーエンドの訓練と評価を実施し、サンプリング、特徴学習、トラッキング予測の共同最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 関係的アテンションを備えたトランスフォーマー基盤アーキテクチャは、従来の相関ベース手法と比較して、3次元ポイントクラウドトラッキング精度を向上させることができるか？
• RQ2 関係認識サンプリングは、疎なポイントクラウドにおいて、ランダムまたは均一サンプリングと比較して、より優れた特徴表現とトラッキングパフォーマンスをもたらすか？
• RQ3 精錬モジュールを備えた粗くから細かくまでのトラッキングパイプラインは、推論速度を低下させることなく、局所化精度をどの程度向上させるか？
• RQ4 提案手法は、実世界の多様なオブジェクトカテゴリおよび長期間にわたるトラッキングシーケンスにおいて、どの程度一般化可能か？

主な発見

• KITTIトラッキングベンチマークにおいて、58.4%の成功率および77.8%の精度を達成し、従来のSOTA手法を大きく上回る新たなSOTAを達成した。
• 新規に導入されたWaymo SOTデータセットでは、平均50.3%の成功率および64.9%の平均精度を達成し、SC3DおよびP2Bをそれぞれ17.2ポイントおよび11.0ポイント上回った。
• アブレーションスタディの結果、ポイント関係トランスフォーマー（PRT）および予測精錬モジュール（PRM）の両方が不可欠であることが確認され、PRT単体でもコサイン類似度ベースラインに対して平均成功率が8.8%向上した。
• 関係アテンションモジュールのL2正規化とオフセットアテンションの各成分が性能向上に顕著な寄与を示し、特にコサイン距離に基づく特徴マッチングの強化において正規化が顕著に有効であった。
• PRMがなくても、PTTRはKITTIで平均56.7%の成功率を達成しており、強力な粗い予測能力を示している。
• 失敗事例の主な原因は極度のポイントクラウドの疎らさに起因しており、マルチフレームの時系列モデリングにより、低信号環境下でのロバストネスをさらに向上できる可能性がある。