[論文レビュー] V-DETR: DETR with Vertex Relative Position Encoding for 3D Object Detection

Yichao Shen, Zigang Geng+7 more|arXiv (Cornell University)|Aug 8, 2023

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、DETRに基づく3Dオブジェクト検出フレームワークV-DETRを提案する。本手法は、予測された3Dボックスの頂点に対する点の相対的位置を符号化する新規の3次元頂点相対位置符号化（3DV-RPE）を導入し、アテンションの局所化を向上させる。この手法は、ScanNetV2およびSUN RGB-Dで最先端の性能を達成し、AP_{25}/AP_{50}を77.8%/66.0%まで向上させ、従来の3DETRおよび完全畳み込み型手法を顕著に上回る。

ABSTRACT

We introduce a highly performant 3D object detector for point clouds using the DETR framework. The prior attempts all end up with suboptimal results because they fail to learn accurate inductive biases from the limited scale of training data. In particular, the queries often attend to points that are far away from the target objects, violating the locality principle in object detection. To address the limitation, we introduce a novel 3D Vertex Relative Position Encoding (3DV-RPE) method which computes position encoding for each point based on its relative position to the 3D boxes predicted by the queries in each decoder layer, thus providing clear information to guide the model to focus on points near the objects, in accordance with the principle of locality. In addition, we systematically improve the pipeline from various aspects such as data normalization based on our understanding of the task. We show exceptional results on the challenging ScanNetV2 benchmark, achieving significant improvements over the previous 3DETR in $ m{AP}_{25}$/$ m{AP}_{50}$ from 65.0\%/47.0\% to 77.8\%/66.0\%, respectively. In addition, our method sets a new record on ScanNetV2 and SUN RGB-D datasets.Code will be released at http://github.com/yichaoshen-MS/V-DETR.

研究の動機と目的

• DETRを用いた3Dオブジェクト検出において、クエリが遠く離れた点にアテンションを向けるなど、局所性の原則に反する、アテンションの局所化が悪い問題に対処すること。
• 限られた学習データのもとで、3次元点群におけるトランスフォーマーのインダクティブバイアス学習を向上させること。
• 予測された3Dボックスの頂点に対する相対的位置に基づいて、明確で一貫性のある位置符号化を提供する符号化方式を設計すること。
• オブジェクトベースの正規化やアーキテクチャの見直しなどの体系的パイプライン改善を通じて、モデル性能を向上させること。
• 既存の完全畳み込み型およびアテンションベースの手法を上回る、3D屋内オブジェクト検出のための強力なDETRベースのベースラインを確立すること。

提案手法

• 各デコーダ層において、クエリが予測する3Dボックスの8つの頂点に対する相対オフセットに基づいて、各3次元点の位置符号化を計算する3DV-RPEを導入する。
• 各オブジェクトをその3Dボックスが座標系と一致するように回転させるキャノニカルオブジェクト空間変換を適用し、回転にかかわらず一貫性のある位置符号化を保証する。
• バックボーンエンコーダとしてスパarsityな3D ResNet-34にFPNネックを組み合わせ、その後に3DV-RPEを用いたクロスアテンションを持つトランスフォーマー・デコーダを配置する。
• シーンベースの正規化よりも安定性が向上するため、3Dバウンディングボックスをパラメータ化するオブジェクトベースの正規化を採用する。
• 最近の2D DETRの進展（例：クエリ初期化や学習スケジュール）を3次元点群設定に適応する。
• FPNネックでのボクセル拡張を回避することで、元の3次元表面の詳細を保持し、このような処理に依存する手法よりも性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 予測された3Dボックスの頂点に対する相対的位置に基づく学習可能な位置符号化は、3Dオブジェクト検出におけるアテンションの局所化を向上させることができるか？
• RQ2 オブジェクトをキャノニカルオブジェクト空間に変換することで、オブジェクトの回転にかかわらず位置符号化の一貫性と一般化性能が向上するか？
• RQ3 3DV-RPEは、3Dボックスマスクや通常の位置符号化といった他のアテンション調整手法と比較して、性能およびアテンション分布において優れているか？
• RQ4 オブジェクトベースの正規化や学習スケジュールといったパイプラインレベルの改善は、3D DETRにおける性能向上にどの程度寄与しているか？
• RQ5 純粋なDETRベースのアーキテクチャは、ScanNetV2やSUN RGB-Dといった挑戦的なベンチマークで、完全畳み込み型3D検出手法を上回ることができるか？

主な発見

• V-DETRはScanNetV2ベンチマークで77.8%のAP_{25}および66.0%のAP_{50}を達成し、従来の3DETRベースライン（65.0%および47.0%）に対して顕著な向上を示した。
• 本手法は、ScanNetV2およびSUN RGB-Dの両データセットで新たな最先端記録を樹立し、ドメインをまたいで強い一般化性能を示した。
• 3DV-RPEは、アテンションマップの可視化により、正解ボックス外の無関係領域へのアテンションが低減され、スパarsityなオブジェクトの境界に集中していることが確認された。
• オブジェクトベースの正規化は、シーンベースの正規化と比較してAP_{50}を3.9ポイント向上させ、3D検出における安定性の重要性を強調した。
• ボクセル拡張はDETRベースのモデルの性能を低下させ、V-DETRがこのような処理に依存する手法よりも表面の詳細をよりよく保持していることを確認した。
• 540エポックの長時間学習でさえも、3DV-RPEと3Dボックスマスクの性能差が保たれ、3DV-RPEの優位性が裏付けられた。