[논문 리뷰] LION: Linear Group RNN for 3D Object Detection in Point Clouds

Zhe Liu, Jinghua Hou외 5명|arXiv (Cornell University)|2024. 07. 25.

3D Surveying and Cultural Heritage인용 수 6

한 줄 요약

LION은 긴 범위 특징 상호작용을 가능하게 하는 윈도우 기반의 3D 백본을 선형 그룹 RNN으로 도입하여 희소 포인트 클라우드에서 3D 객체 탐지를 가능하게 하며, 3D 공간 디스크립터와 보셀 생성을 통해 성능을 향상시키고; LION 변형은 여러 자율주행 데이터셋에서 최첨단 결과를 달성한다.

ABSTRACT

The benefit of transformers in large-scale 3D point cloud perception tasks, such as 3D object detection, is limited by their quadratic computation cost when modeling long-range relationships. In contrast, linear RNNs have low computational complexity and are suitable for long-range modeling. Toward this goal, we propose a simple and effective window-based framework built on LInear grOup RNN (i.e., perform linear RNN for grouped features) for accurate 3D object detection, called LION. The key property is to allow sufficient feature interaction in a much larger group than transformer-based methods. However, effectively applying linear group RNN to 3D object detection in highly sparse point clouds is not trivial due to its limitation in handling spatial modeling. To tackle this problem, we simply introduce a 3D spatial feature descriptor and integrate it into the linear group RNN operators to enhance their spatial features rather than blindly increasing the number of scanning orders for voxel features. To further address the challenge in highly sparse point clouds, we propose a 3D voxel generation strategy to densify foreground features thanks to linear group RNN as a natural property of auto-regressive models. Extensive experiments verify the effectiveness of the proposed components and the generalization of our LION on different linear group RNN operators including Mamba, RWKV, and RetNet. Furthermore, it is worth mentioning that our LION-Mamba achieves state-of-the-art on Waymo, nuScenes, Argoverse V2, and ONCE dataset. Last but not least, our method supports kinds of advanced linear RNN operators (e.g., RetNet, RWKV, Mamba, xLSTM and TTT) on small but popular KITTI dataset for a quick experience with our linear RNN-based framework.

연구 동기 및 목표

• 3D 포인트 클라우드에서 선형 그룹 RNN으로 긴 범위 특징 상호작용을 가능하게 하여 계산 비용을 줄이는 것을 목표로 하고 이를 가능하게 한다.
• 3D 탐지용 선형 RNN을 향상시키기 위하여 로컬 기하를 포착하는 3D 공간 특징 디스크립터를 통합한다.
• 보셀 생성 전략을 통해 희소 전경 특징을 강화(밀도화)하고 자기회귀 속성을 활용한다.
• 다양한 선형 RNN 연산자(Mamba, RWKV, RetNet) 및 데이터셋 전반에서 LION의 일반화 가능성을 보여준다.

제안 방법

• 수천 개의 보셀 특징을 그룹화하여 긴 거리 상호작용을 위한 윈도우 기반 3D 백본 LION을 제안한다.
• 시퀀스로 평탄화될 때 공간 정보 손실을 줄이기 위해 3D 공간 특징 디스크립터(3D sub-manifold conv + LayerNorm + GELU)를 도입한다.
• 희소한 포인트 클라우드에서 다중 스케일 특징 학습을 가능하게 하기 위해 보셀 병합 및 보셀 확장을 구현한다.
• 백본의 높은 반응 영역을 바탕으로 전경 보셀 특징을 자기회귀적으로 생성하는 보셀 생성 전략을 개발한다.
• LION 블록에서 X- 및 Y축 윈도우 분할을 가진 양방향 선형 RNN 연산자(Mamba, RWKV, RetNet)를 활용하여 풍부한 특징 상호작용을 달성한다.
• 선형 RNN 기반 접근법으로 기존 보셀 기반 백본을 대체하거나 보강하는 실용적 프레임워크를 제공한다.

Figure 1: (a) Comparison of different 3D backbones in terms of detection performance on Waymo [ 49 ] , nuScenes [ 4 ] , Argoverse V2 [ 59 ] and ONCE [ 34 ] datasets. Here, we adopt Mamba [ 22 ] as the default operator of our LION. Besides, we present the simplified schematic of DSVT (b) [ 57 ] and o

실험 결과

연구 질문

• RQ1 선형 RNN이 큰 그룹화 윈도를 가진 경우 희소 포인트 클라우드에서 3D 객체 탐지를 위한 트랜스포머 유사 백본과 동등하거나 이를 능가할 수 있는가?
• RQ2 3D 공간 특징 디스크립터를 추가하면 3D 백본에서 선형 그룹 RNN의 국지적 공간 모델링이 개선되는가?
• RQ3 자기회귀 선형 RNN을 통한 보셀 생성이 희소 전경 영역을 밀도화하고 탐지 성능을 향상시키는가?
• RQ4 LION이 다양한 선형 RNN 연산자와 다양한 3D 탐지 데이터셋에서 얼마나 잘 일반화되는가?

주요 결과

• 다양한 선형 RNN을 가진 LION은 Waymo, nuScenes, Argoverse V2, ONCE 데이터셋에서 경쟁력 있거나 최첨단 성능을 달성한다.
• 선형 RNN에 의해 가능해진 LION의 더 큰 그룹 상호작용은 소형 그룹 트랜스포머 기반 방법보다 더 나은 장거리 특징 상호작용을 제공한다.
• 3D 공간 특징 디스크립터는 1D 시퀀스 처리 중 공간 정보 손실을 효과적으로 완화한다.
• 자기회귀 특성에 기반한 보셀 생성은 전경 특징을 밀도화하고 희소한 씬에서 판별력을 향상시킨다.
• LION-Mamba는 다수의 데이터셋에서 최첨단 결과를 달성하여 LION 프레임워크의 연산자와 도메인 전반에 걸친 강력한 일반화를 보여준다.

Figure 2: The illustration of LION, which mainly consists of several LION blocks, each paired with a voxel generation for feature enhancement and a voxel merging for down-sampling features along the height dimension. $(H,W,D)$ indicates the shape of the 3D feature map, where $H$ , $W$ , and $D$ are