[論文レビュー] LION: Linear Group RNN for 3D Object Detection in Point Clouds

Zhe Liu, Jinghua Hou+5 more|arXiv (Cornell University)|Jul 25, 2024

3D Surveying and Cultural Heritage被引用数 6

ひとこと要約

LIONは窓ベースの3D backboneを導入し、linear group RNNsを用いて疎な点群における3D物体検出の長距離特徴相互作用を可能にします。3D空間記述子と体素生成を組み合わせて性能を向上させ、LIONの派生は複数の自動運転データセットで最先端の結果を達成します。

ABSTRACT

The benefit of transformers in large-scale 3D point cloud perception tasks, such as 3D object detection, is limited by their quadratic computation cost when modeling long-range relationships. In contrast, linear RNNs have low computational complexity and are suitable for long-range modeling. Toward this goal, we propose a simple and effective window-based framework built on LInear grOup RNN (i.e., perform linear RNN for grouped features) for accurate 3D object detection, called LION. The key property is to allow sufficient feature interaction in a much larger group than transformer-based methods. However, effectively applying linear group RNN to 3D object detection in highly sparse point clouds is not trivial due to its limitation in handling spatial modeling. To tackle this problem, we simply introduce a 3D spatial feature descriptor and integrate it into the linear group RNN operators to enhance their spatial features rather than blindly increasing the number of scanning orders for voxel features. To further address the challenge in highly sparse point clouds, we propose a 3D voxel generation strategy to densify foreground features thanks to linear group RNN as a natural property of auto-regressive models. Extensive experiments verify the effectiveness of the proposed components and the generalization of our LION on different linear group RNN operators including Mamba, RWKV, and RetNet. Furthermore, it is worth mentioning that our LION-Mamba achieves state-of-the-art on Waymo, nuScenes, Argoverse V2, and ONCE dataset. Last but not least, our method supports kinds of advanced linear RNN operators (e.g., RetNet, RWKV, Mamba, xLSTM and TTT) on small but popular KITTI dataset for a quick experience with our linear RNN-based framework.

研究の動機と目的

• 計算コストを低減するために、linear group RNNsを用いて3D点群における長距離特徴相互作用を促進・有効化する。
• 局所幾何を捉えるために3D空間特徴記述子を組み込んで3D検出用のlinear RNNを強化する。
• 自己回帰特性を活用した体素生成戦略により、疎な前景特徴を密度化する。
• 複数のlinear RNN演算子（Mamba、RWKV、RetNet）およびデータセットに対するLIONの一般化を示す。

提案手法

• LIONを提案する。窓ベースの3D backboneで、linear RNNsを用いて長距離相互作用のために数千の体素特徴をグループ化する。
• 3Dサブマニfold conv + LayerNorm + GELUからなる3D空間特徴記述子を導入し、シーケンスへフラット化する際の空間情報損失を緩和する。
• 疎な点群でマルチスケール特徴学習を可能にするため、体素のマージと拡張を実装する。
• バックボーンにおける高応答領域に基づいて、前景の体素特徴を自己回帰的に生成する体素生成戦略を開発する。
• X軸およびY軸のウィンドウ partitionを用いたLIONブロックで、双方向のlinear RNN演算子（Mamba、RWKV、RetNet）を活用し、豊かな特徴相互作用を実現する。
• 既存の体素ベースのバックボーンを置換・補完するための、linear RNNベースのアプローチを提供する実用的なフレームワーク。

Figure 1: (a) Comparison of different 3D backbones in terms of detection performance on Waymo [ 49 ] , nuScenes [ 4 ] , Argoverse V2 [ 59 ] and ONCE [ 34 ] datasets. Here, we adopt Mamba [ 22 ] as the default operator of our LION. Besides, we present the simplified schematic of DSVT (b) [ 57 ] and o

実験結果

リサーチクエスチョン

• RQ1 大規模グループ化ウィンドウを持つlinear RNNは、疎な点群における3D物体検出で、トランスフォーマー型バックボーンに匹敵する、または上回ることができるか。
• RQ2 3D空間特徴記述子の追加は、3Dバックボーンにおけるlinear group RNNの局所空間モデリングを改善しますか。
• RQ3 自己回帰的なlinear RNNによる体素生成は、疎な前景領域を密度化し検出性能を向上させますか。
• RQ4 LIONは、異なるlinear RNN演算子および多様な3D検出データセット全体でどれだけ一般化しますか。

主な発見

• 異なるlinear RNNを用いたLIONは Waymo、nuScenes、Argoverse V2、 ONCE データセットで競争力のある、または最先端の性能を達成する。
• linear RNNにより実現されるLIONのより大きなグループ相互作用は、小グループのトランスフォーマーベース手法と比較して長距離特徴相互作用を向上させる。
• 3D空間特徴記述子は、1Dシーケンス処理中の空間情報損失を効果的に緩和する。
• 自己回帰特性に基づく体素生成は、前景特徴を密度化し、疎なシーンでの識別性を向上させる。
• LION-Mambaは複数のデータセットで最先端の結果を達成し、演算子とドメインを横断したLIONフレームワークの強い一般化を示している。

Figure 2: The illustration of LION, which mainly consists of several LION blocks, each paired with a voxel generation for feature enhancement and a voxel merging for down-sampling features along the height dimension. $(H,W,D)$ indicates the shape of the 3D feature map, where $H$ , $W$ , and $D$ are