[논문 리뷰] GD-MAE: Generative Decoder for MAE Pre-training on LiDAR Point Clouds

Honghui Yang, Tong He외 6명|arXiv (Cornell University)|2022. 12. 06.

3D Shape Modeling and Analysis인용 수 6

한 줄 요약

GD-MAE는 LiDAR 포인트 클라우드에서 마스킹 오토에인코더(MAE) 사전학습을 위한 생성형 디코더를 제안하며, 복잡한 디코더를 가벼운 컨volutional 업샘플링 및 특징 확장 메커니즘으로 대체한다. 유연하고 세밀한 마스킹을 가능하게 하고 추론 지연을 기존 방법의 12% 미만으로 줄여 Waymo, KITTI, ONCE에서 최신 기술 성능을 달성하며, 라벨이 부족한 경우에도 20%의 라벨 데이터로도 유사한 정확도를 확보한다.

ABSTRACT

Despite the tremendous progress of Masked Autoencoders (MAE) in developing vision tasks such as image and video, exploring MAE in large-scale 3D point clouds remains challenging due to the inherent irregularity. In contrast to previous 3D MAE frameworks, which either design a complex decoder to infer masked information from maintained regions or adopt sophisticated masking strategies, we instead propose a much simpler paradigm. The core idea is to apply a extbf{G}enerative extbf{D}ecoder for MAE (GD-MAE) to automatically merges the surrounding context to restore the masked geometric knowledge in a hierarchical fusion manner. In doing so, our approach is free from introducing the heuristic design of decoders and enjoys the flexibility of exploring various masking strategies. The corresponding part costs less than extbf{12\%} latency compared with conventional methods, while achieving better performance. We demonstrate the efficacy of the proposed method on several large-scale benchmarks: Waymo, KITTI, and ONCE. Consistent improvement on downstream detection tasks illustrates strong robustness and generalization capability. Not only our method reveals state-of-the-art results, but remarkably, we achieve comparable accuracy even with extbf{20\%} of the labeled data on the Waymo dataset. Code will be released at https://github.com/Nightmare-n/GD-MAE.

연구 동기 및 목표

• 비정규적인 3차원 LiDAR 포인트 클라우드에서 MAE 사전학습을 단순화하기 위해 복잡한 디코더 설계를 제거하는 것.
• 백트래킹이나 마스킹 일관성 제약 조건 없이도 포인트 단위 및 패치 단위 마스킹 전략을 유연하게 지원하는 것.
• 성능을 유지하거나 향상시키면서도 디코더의 계산 지연을 줄이는 것.
• 특히 대규모 벤치마크에서 라벨 데이터가 제한된 상황에서도 강력한 성능을 달성할 수 있도록 데이터 효율성을 향상시키는 것.

제안 방법

• 비정규 포인트 클라우드 구조를 처리하고 가시 토큰 수용 영역을 확장하기 위해 희소 컨볼루션과 희소 트랜스포머를 사용하는 다중 스케일 인코더로 희소 피라미드 트랜스포머(SPT)를 제안한다.
• 전치 컨볼루션을 사용해 다중 스케일 특징을 업샘플링하고, 가시 영역을 마스킹된 영역으로 확장하기 위한 컨볼루션을 사용하는 생성형 디코더(GD)를 도입하여 마스킹된 토큰을 직접 인덱싱해 재구성할 수 있도록 한다.
• 마스킹된 영역에 대해 학습 가능한 토큰 없이도 주변 컨텍스트에서 기하학적 세부 정보를 재구성하기 위해 디코더에서 계층적 특징 융합을 구현한다.
• 마스킹 과정과 디코더 복잡성 간의 분리로 포인트 단위, 패치 단위, 블록 단위 등 다양한 마스킹 정밀도를 지원한다.
• 다양한 스케일의 특징을 동일 해상도로 투영하여 재구성 전에 통합된 특징 공간을 활용함으로써 훈련 및 추론을 단순화한다.
• 두 단계 훈련 프로토콜을 사용한다: 대규모 비라벨링 LiDAR 데이터에서의 사전학습 후, 검출 작업을 위한 소규모 라벨 데이터셋에서의 파인튜닝.

실험 결과

연구 질문

• RQ1 3차원 포인트 클라우드의 MAE 스타일 사전학습에서 복잡한 학습 가능한 토큰 기반 디코더를 단순한 엔드 투 엔드 생성형 디코더로 대체할 수 있는가?
• RQ2 제안된 프레임워크는 성능 저하 없이 지연 증가 없이도 다양한 마스킹 전략을 지원할 수 있는가?
• RQ3 GD-MAE는 특히 라벨 데이터가 제한된 상황에서 3차원 객체 검출의 데이터 효율성을 어느 정도 향상시킬 수 있는가?
• RQ4 MAE 프레임워크 내에서 생성형 디코더는 트랜스포머 기반 디코더와 비교해 성능과 추론 속도 측면에서 어떻게 성과를 내는가?

주요 결과

• GD-MAE는 Waymo 오픈 데이터셋에서 표준 파인튜닝 조건 하에 차량에 대해 66.54 mAPH/L2, 보행자에 대해 64.93 mAPH/L2로 최신 기술 성능을 달성한다.
• 라벨 데이터의 20%만으로도 전체 라벨 기반 베이스라인과 유사한 정확도를 확보하여 높은 데이터 효율성을 입증한다.
• 생성형 디코더로 인해 추론 지연이 3.2ms로 감소하여 기존 트랜스포머 기반 디코더의 27.1ms 대비 12% 미만으로 줄어든다.
• 패치 단위 마스킹이 가장 높은 성능을 보이며, 차량에 대해 62.65 mAPH/L2, 보행자에 대해 61.44 mAPH/L2를 기록하여 블록 단위 마스킹(61.60, 59.25)과 포인트 단위 마스킹(62.41, 60.60)을 능가한다.
• 다양한 다중 스케일 인코더에서 검출 정확도가 향상되며, 특히 희소 트랜스포머 기반 인코더에서 가장 높은 향상률(1.05 mAPH/L2)을 기록한다.
• 제거 분석 결과 단일 컨볼루션 디코더가 다중 트랜스포머 디코더보다 우수한 성능을 보이며, 제안된 생성형 설계의 효과성과 단순성을 확인한다.