[논문 리뷰] Efficient LiDAR Point Cloud Geometry Compression Through Neighborhood Point Attention

Ruixiang Xue, Jianqiang Wang외 1명|arXiv (Cornell University)|2022. 08. 26.

3D Shape Modeling and Analysis인용 수 7

한 줄 요약

이 논문은 고정된 수신장치 영역을 가진 희소 컨볼루션을 대체하기 위해 k-NN와 자기주의 기반의 학습 가능하고 적응적인 근접 집합 기반으로 LiDARD 포인트 클라우드 기하 구조 압축을 향상시키기 위해 Neighborhood Point Attention (NPA)를 제안한다. NPAFormer 모델은 SemanticKITTI 및 Ford 데이터셋에서 손실 압축 모드에서 17% 이상의 BD-rate 향상과 손실 없는 모드에서 14% 이상의 비트레이트 감소를 달성하였으며, 최신 기술 대비 복호화 시간을 640배 감소시켰다.

ABSTRACT

Although convolutional representation of multiscale sparse tensor demonstrated its superior efficiency to accurately model the occupancy probability for the compression of geometry component of dense object point clouds, its capacity for representing sparse LiDAR point cloud geometry (PCG) was largely limited. This is because 1) fixed receptive field of the convolution cannot characterize extremely and unevenly distributed sparse LiDAR points very well; and 2) pretrained convolutions with fixed weights are insufficient to dynamically capture information conditioned on the input. This work therefore suggests the neighborhood point attention (NPA) to tackle them, where we first use k nearest neighbors (kNN) to construct adaptive local neighborhood; and then leverage the self-attention mechanism to dynamically aggregate information within this neighborhood. Such NPA is devised as a NPAFormer to best exploit cross-scale and same-scale correlations for geometric occupancy probability estimation. Compared with the anchor using standardized G-PCC, our method provides >17% BD-rate gains for lossy compression, and >14% bitrate reduction for lossless scenario using popular LiDAR point clouds in SemanticKITTI and Ford datasets. Compared with the state-of-the-art (SOTA) solution using attention optimized octree coding method, our approach requires much less decoding runtime with about 640 times speedup on average, while still presenting better compression efficiency.

연구 동기 및 목표

• 희소하고 균일하지 않은 분포를 가진 LiDAR 포인트 클라우드를 모델링하는 데 있어 고정된 수신장치 영역을 가진 희소 컨볼루션의 한계를 해결하기 위해.
• 적응형 근접 구조를 통해 동적으로 국소 상관관계를 포착하여 기하학적 점유 확률 추정을 향상시키기 위해.
• 기존의 주로 주목과 컨볼루션 기반 방법과 비교해도 압축 효율성을 유지하거나 향상시키면서도 복호화 복잡도를 감소시키기 위해.
• 희소 LiDAR 포인트 클라우드의 손실 압축 및 손실 없는 압축에서 모두 뛰어난 성능을 달성하기 위해.

제안 방법

• 각 포인트에 대해 고정된 수신장치 영역을 가진 희소 컨볼루션의 한계를 극복하기 위해 k-최근접 이웃(k-NN)을 사용해 적응형 국소 근접 구조를 구성한다.
• 입력 콘텐츠에 기반해 기여도를 동적으로 가중하는 자기주의 기반 메커니즘을 각 k-NN 근접 구조 내에서 적용한다.
• 근접 특징을 집계하고 다중 척도 희소 텐서 프레임워크에 통합하는 학습 가능한 모듈인 NPAFormer을 도입한다.
• x, y, z 축을 따라 동적 다운스케일링을 수행해 다중 척도 표현을 생성함으로써, 크로스 스케일 및 동일 스케일 상관관계 모델링이 가능하도록 한다.
• 각 스케일에서 점유 확률을 예측하기 위해 NPAFormer과 희소 컨볼루션 레이어를 스택한 확률 생성 모듈(PGM)을 사용한다.
• 오프셋 추가를 통한 계층적 업스케일링을 수행하여 자식 오크타트를 생성함으로써, 확장 가능하고 다중 해상도 기반의 압축을 가능하게 한다.

실험 결과

연구 질문

• RQ1 k-NN와 자기주의를 통한 적응형 근접 집합 기반의 방법이 희소 포인트 클라우드 압축에서 고정된 수신장치 영역을 가진 희소 컨볼루션을 능가할 수 있는가?
• RQ2 제안된 NPAFormer이 OctAttention 및 SparsePCGC와 같은 기존 최고 기술 대비 더 높은 압축 효율성을 달성할 수 있는가?
• RQ3 압축 성능 향상을 유지하면서 복호화 복잡도를 얼마나 줄일 수 있는가?
• RQ4 근접 이웃 수(k)의 변화가 압축 비율과 정확도 측면에서 성능에 어떤 영향을 미치는가?
• RQ5 이 방법은 희소(SemanticKITTI, Ford) 및 고밀도 물체 포인트 클라우드를 포함한 다양한 LiDAR 데이터셋에 대해 일반화 가능한가?

주요 결과

• 제안된 방법은 SemanticKITTI 및 Ford 데이터셋에서 표준화된 G-PCC 대비 손실 압축 모드에서 17% 이상의 BD-rate 향상을 달성하였다.
• 손실 없는 모드에서는 비트레이트를 14% 이상 감소시켜 SparsePCGC 대비 약 10%포인트 높은 성능을 기록하였다.
• 고밀도 물체 포인트 클라우드에서는 손실 없는 모드에서 G-PCC 대비 50.18% Bpp 감소, 손실 압축 모드에서 17% 이상의 BD-rate 향상을 달성하였다.
• OctAttention 대비 복호화 시간을 약 640배 감소시켰으며, 제안된 방법은 6초 미만으로 복호화를 완료하는 데에 성공했고, OctAttention는 약 1시간이 소요되었다.
• k를 16에서 64로 증가시키면 성능 향상이 이루어지지만, 조건에 비해 매우 작은 값으로서 OctAttention에서 사용하는 1024개의 이웃보다도 훨씬 작음을 확인하여 높은 효율성을 입증하였다.
• 모든 테스트된 데이터셋과 비트 깊이(12비트, 10비트, 9비트)에서 G-PCC 및 SparsePCGC를 모두 초월하는 성능을 기록하였다.