[論文レビュー] 3D Object Detection with Pointformer

Xuran Pan, Zhuofan Xia+3 more|arXiv (Cornell University)|Dec 21, 2020

3D Shape Modeling and Analysis参考文献 44被引用数 9

ひとこと要約

この論文では、局所的・グローバル的・局所的・グローバル的注意力メカニズムを活用して文脈に適した、置換不変な特徴を学習する、3次元点群における3次元物体検出のためのTransformerベースのバックボーンであるPointformerを提案する。座標修正モジュールとマルチスケール特徴抽出を統合することで、VoteNet、PointRCNN、CBGSといった最先端の検出器のプラグインバックボーンとして使用した場合、屋内および屋外のベンチマークで顕著な検出精度の向上を達成する。

ABSTRACT

Feature learning for 3D object detection from point clouds is very challenging due to the irregularity of 3D point cloud data. In this paper, we propose Pointformer, a Transformer backbone designed for 3D point clouds to learn features effectively. Specifically, a Local Transformer module is employed to model interactions among points in a local region, which learns context-dependent region features at an object level. A Global Transformer is designed to learn context-aware representations at the scene level. To further capture the dependencies among multi-scale representations, we propose Local-Global Transformer to integrate local features with global features from higher resolution. In addition, we introduce an efficient coordinate refinement module to shift down-sampled points closer to object centroids, which improves object proposal generation. We use Pointformer as the backbone for state-of-the-art object detection models and demonstrate significant improvements over original models on both indoor and outdoor datasets.

研究の動機と目的

• 不規則な3次元点群データにおける効果的な特徴学習の課題に対処すること。
• ボクセルベースおよびポイントベースの手法の限界を克服し、局所的およびグローバルな文脈認識を統合すること。
• 3次元点群処理に特化した、置換不変で効率的なTransformerバックボーンを設計すること。
• 新しい座標修正モジュールを用いて、オブジェクト候補の品質を向上させること。
• 屋内および屋外の多様な3次元検出ベンチマークにおいて一貫した性能向上を示すこと。

提案手法

• 局所領域内のポイント相互作用をモデル化するためのローカルTransformer（LT）モジュールを導入し、オブジェクトレベルの文脈を捉える。
• 全点群全体にわたるシーンレベルの文脈に適した表現を学習するためのグローバルTransformer（GT）モジュールを採用する。
• 高分解能の局所特徴と高分解能から得られるグローバルコンテキストを融合するためのローカル・グローバルTransformer（LGT）モジュールを提案する。
• ダウンサンプリングされたポイントをオブジェクトの重心に再配置することで、候補品質を向上させる座標修正モジュールを統合する。
• 階層的特徴学習を可能にするために、マルチスケールのPointformerブロックを用いたU-Net風のアーキテクチャを採用する。
• 既存の3次元検出器（例：VoteNet、PointRCNN、CBGS）に構造的変更を加えずに、バックボーンとしてプラグインとして統合する。

実験結果

リサーチクエスチョン

• RQ1 Transformerベースのバックボーンは、不規則な3次元点群データから、物体検出のための文脈に適した特徴を効果的に学習できるか？
• RQ2 局所的・グローバル的・局所的・グローバル的注意力メカニズムは、ごみだらけのシーンにおける特徴表現の向上にどのように寄与するか？
• RQ3 サンプリングされたポイントの座標修正は、3次元検出におけるオブジェクト候補生成にどの程度向上効果をもたらすか？
• RQ4 提案されたPointformerバックボーンは、屋内および屋外の両方の3次元検出ベンチマークに一般化可能か？
• RQ5 位置エンコーディングの統合は、点群データにおけるTransformerベースのバックボーンのパフォーマンスにどのように影響するか？

主な発見

• PointRCNNのベースラインを置き換えた場合、エイジリのオブジェクトで0.6 mAPの向上を達成し、強力な局所特徴学習能力を示した。
• グローバルTransformerは、ハードなオブジェクトで0.9 mAPの向上を示し、長距離依存関係を効果的に捉えていることを裏付けた。
• ローカル・グローバルTransformerと座標修正モジュールの両方が、すべての難易度レベルで一貫したmAP向上をもたらし、エイジリおよびハードなカテゴリの両方で改善が確認された。
• アブレーションスタディにより、位置エンコーディングが極めて重要であることが確認された。それがないと顕著なパフォーマンス低下が生じ、幾何学的構造の維持に果たす役割が明確になった。
• 注意可視化の定性的な結果から、Pointformerはまず局所的オブジェクト部品に注目し、次に同じオブジェクトの他の領域に注目し、最後に他のオブジェクト全体にグローバルに注目するという、多段階のメッセージ伝達が行われていることが確認された。
• SUN RGB-Dデータセットにおいて、VoteNetと組み合わせたPointformerは、欠損したドレッサーの部分やごみだらけのテーブルなど、部分的に観測されたまたはごみだらけのオブジェクトに対しても、頑健な検出を達成し、一般化性能と耐障害性を示した。