[論文レビュー] Voxel Set Transformer: A Set-to-Set Approach to 3D Object Detection from Point Clouds

Chenhang He, Ruihuang Li+2 more|arXiv (Cornell University)|Mar 19, 2022

Advanced Neural Network Applications被引用数 12

ひとこと要約

本論文は、不規則に分布する点群上で効率的で並列的かつ高容量な自己注意を可能にするボクセルベースのセットアテンション（VSA）モジュールを用いた、新しいセット・ツー・セットの3次元物体検出フレームワーク、ボクセル・セットトランスフォーマー（VoxSeT）を提案する。可 learnable な潜在コードを用いてボクセル特徴を圧縮し、自己注意を2段階のクロスアテンションモジュールに分解することで、VoxSeT は線形計算量を達成し、KITTI および Waymo ベンチマークで競争力ある性能を発揮する。これは、一般化性能と効率性の面で、先行する CNN や点群ベースのモデルを上回っている。

ABSTRACT

Transformer has demonstrated promising performance in many 2D vision tasks. However, it is cumbersome to compute the self-attention on large-scale point cloud data because point cloud is a long sequence and unevenly distributed in 3D space. To solve this issue, existing methods usually compute self-attention locally by grouping the points into clusters of the same size, or perform convolutional self-attention on a discretized representation. However, the former results in stochastic point dropout, while the latter typically has narrow attention fields. In this paper, we propose a novel voxel-based architecture, namely Voxel Set Transformer (VoxSeT), to detect 3D objects from point clouds by means of set-to-set translation. VoxSeT is built upon a voxel-based set attention (VSA) module, which reduces the self-attention in each voxel by two cross-attentions and models features in a hidden space induced by a group of latent codes. With the VSA module, VoxSeT can manage voxelized point clusters with arbitrary size in a wide range, and process them in parallel with linear complexity. The proposed VoxSeT integrates the high performance of transformer with the efficiency of voxel-based model, which can be used as a good alternative to the convolutional and point-based backbones. VoxSeT reports competitive results on the KITTI and Waymo detection benchmarks. The source codes can be found at \url{https://github.com/skyhehe123/VoxSeT}.

研究の動機と目的

• 大規模でスパースな3次元点群における標準的自己注意の2次関数的計算量と非効率性に対処すること。
• ボクセル化された表現におけるグループ化ベースの手法の限界、すなわち確率的点ドロップアウトと畳み込み注意の狭い受容 field を克服すること。
• 点群処理をセット・ツー・セット変換としてモデル化することで、3次元物体検出におけるフル解像度の特徴学習を可能にすること。
• KITTI や Waymo などの多様な3次元検出ベンチマークにおいて、モデル化能力と一般化性能を向上させること。
• スパース CNN や点群ベースのトランスフォーマーの効率的で並列化可能な代替手段を提供すること。

提案手法

• ボクセル・セットアテンション（VSA）モジュールは、重複のない3次元ボクセルを用いて点群をグループ化し、可 learnable な潜在コードを通じて2段階のクロスアテンション機構を適用することで、完全な自己注意を置き換える。
• 各ボクセルの特徴は、入力点特徴のキー・バリュー投影にアテンションするクエリとして機能する潜在コードを用いて、固定サイズの隠れ空間に圧縮される。
• 隠れ特徴は、局所的な接続性を持つ畳み込み型フィードフォワードネットワーク（ConvFFN）によって精製され、ボクセル間で空間的特徴を交換可能になる。
• 最終出力は、精製された隠れ特徴と元の入力特徴を統合することで得られ、解像度と文脈を保持する。
• VSA モジュール全体の計算量は O(nkd) であり、n は入力点数、k は潜在コード数、d は特徴次元数を表す。これにより、ベクトル化された並列計算が可能になる。
• VoxSeT フレームワークは、複数の VSA モジュールと MLP、浅い CNN を統合し、エンドツーエンドで生の点群を処理する単一段階検出器を構築する。

実験結果

リサーチクエスチョン

• RQ1 セット・ツー・セット変換フレームワークは、スパースな3次元点群上で効率的なアテンション計算を可能にしつつ、フル解像度の特徴を保持できるか？
• RQ2 可 learnable な潜在コードを用いたボクセルベースのアテンション機構は、3次元物体検出において、高いモデル化能力と線形計算量の両方を達成できるか？
• RQ3 提案された VSA モジュールは、多様なデータセットにおいて、グループ化ベースおよび畳み込み注意機構よりも精度と一般化性能に優れているか？
• RQ4 潜在コードの数が VSA モジュールの性能と表現力にどのように影響するか？
• RQ5 VoxSeT フレームワークは、既存の3次元検出器よりも低いメモリ使用量と遅延でリアルタイム推論を達成できるか？

主な発見

• VoxSeT は KITTI データセットで最先端の性能を達成し、'Easy' レベルで mAP 89.61、'Moderate' で 80.14、'Hard' で 78.69 を記録。PointNet++ バックボーンを搭載した PointRCNN を上回った。
• Waymo データセットでは、競争力ある mAP スコアを達成し、異なる点群分布にわたる強い一般化性能を示した。
• アブレーションスタディの結果、ConvFFN を標準的な FFN に置き換えると、'Hard' セットで mAP が10ポイント以上低下した。これは局所的接続性の重要性を裏付けている。
• 潜在コード数を 4 から 16 に増やすことで、KITTI における mAP は 76.63 から 78.74 に向上し、より良い文脈モデリングが可能であることを示した。
• 2080Ti GPU を用いた KITTI では、VoxSeT は 34ms で実行され、2381MB のメモリを消費し、SECOND（48ms、6093MB）を上回り、PointPillars（22ms）と同等の速度でより高い精度を達成した。
• 可視化結果から、異なる潜在コードが異なる物体領域にアテンションしていることが確認され、モデルの表現力とアテンションの多様性が裏付けられた。