[논문 리뷰] Sparse Tensor-based Multiscale Representation for Point Cloud Geometry Compression

Jianqiang Wang, Dandan Ding외 4명|arXiv (Cornell University)|2021. 11. 20.

3D Shape Modeling and Analysis참고 문헌 32인용 수 11

한 줄 요약

이 논문은 다중 척도 희소 텐서 표현과 희소 컨볼루션 기반 신경망을 사용하는 통합적이고 저복잡도의 포인트 클라우드 기하 압축 방법인 SparsePCGC를 제안한다. 주로 가장 가능성 높은 양의 점유된 바이트셀(MP-POVs)에 집중하고, SparseCNN 기반의 점유도 근사(SOPA)를 통해 다중 척도 및 동일 척도 상관관계를 활용함으로써, 밀도가 높은(8iVFB, Owlii, MUVB) 및 희소한(KITTI, Ford) 포인트 클라우드를 포함한 다양한 데이터셋에서 손실 없는 및 손실 있는 모드 모두에서 최신 기술 수준의 압축 성능을 달성한다.

ABSTRACT

This study develops a unified Point Cloud Geometry (PCG) compression method through the processing of multiscale sparse tensor-based voxelized PCG. We call this compression method SparsePCGC. The proposed SparsePCGC is a low complexity solution because it only performs the convolutions on sparsely-distributed Most-Probable Positively-Occupied Voxels (MP-POV). The multiscale representation also allows us to compress scale-wise MP-POVs by exploiting cross-scale and same-scale correlations extensively and flexibly. The overall compression efficiency highly depends on the accuracy of estimated occupancy probability for each MP-POV. Thus, we first design the Sparse Convolution-based Neural Network (SparseCNN) which stacks sparse convolutions and voxel sampling to best characterize and embed spatial correlations. We then develop the SparseCNN-based Occupancy Probability Approximation (SOPA) model to estimate the occupancy probability either in a single-stage manner only using the cross-scale correlation, or in a multi-stage manner by exploiting stage-wise correlation among same-scale neighbors. Besides, we also suggest the SparseCNN based Local Neighborhood Embedding (SLNE) to aggregate local variations as spatial priors in feature attribute to improve the SOPA. Our unified approach not only shows state-of-the-art performance in both lossless and lossy compression modes across a variety of datasets including the dense object PCGs (8iVFB, Owlii, MUVB) and sparse LiDAR PCGs (KITTI, Ford) when compared with standardized MPEG G-PCC and other prevalent learning-based schemes, but also has low complexity which is attractive to practical applications.

연구 동기 및 목표

• 다양한 밀도와 특성을 가진 비정형이고 희소하게 분포된 3차원 포인트 클라우드를 효율적으로 압축하는 문제를 해결하기 위해.
• 불규칙하게 산재한 점들 사이의 공간 상관관계를 심층 학습을 통해 점유도를 모델링함으로써.
• 손실 없는 및 손실 있는 압축 모두에 효과적으로 작동하는 통합된 압축 프레임워크를 개발하기 위해.
• 주로 양의 점유된 바이트셀(MP-POVs)에만 희소 컨볼루션을 적용하여 계산 복잡도를 감소시키기 위해.
• 다중 척도 표현을 통해 다중 척도 및 동일 척도 공간 사전 지식을 포괄함으로써 압축 효율을 향상시키기 위해.

제안 방법

• 이 방법은 다중 척도 희소 텐서 표현을 사용하여 포인트 클라우드 기하를 계층적 바이트셀 격자로 압축 및 재샘플링한다.
• 압축의 주요 대상으로 가장 가능성 높은 양의 점유된 바이트셀(MP-POVs)을 식별하여, 활성 바이트셀에 한정해 계산을 줄인다.
• 희소 컨볼루션을 통해 국소적 이웃 변화를 추출하고 특징을 추출하기 위해 희소 컨볼루션 기반 신경망(SparseCNN)을 설계한다.
• SparseCNN 기반의 점유도 근사(SOPA) 모델은 단일 단계(다중 척도) 또는 다단계(동일 척도 이웃) 상관관계 모델링을 통해 점유도를 추정한다.
• 로컬 이웃 임베딩(SLNE) 모듈은 국소 공간 변화를 사전으로 통합함으로써 특징 표현을 향상시키고, 더 정확한 확률 추정을 가능하게 한다.
• 모델 아키텍처를 척도 간에 공유함으로써 파라미터 저장량을 줄이고, 손실 없는 및 손실 있는 압축 모드 모두에서 효율적인 추론을 가능하게 한다.

Figure 1: Various Representation Models of Voxelized PCG : (a) uniform voxel; (b) octree model (and parent-tree layout); (c) sparse tensor; (d) dyadic voxel downscaling $2\times 2\times 2\downarrow$ from (c); (e) dyadic voxel upscaling $2\times 2\times 2\uparrow$ from (d) to generate MP-POVs and ass

실험 결과

연구 질문

• RQ1 불규칙하게 분포된 3차원 포인트 클라우드의 공간 상관관계는 어떻게 효과적으로 모델링할 수 있을까?
• RQ2 통합된 심층 학습 기반 압축 프레임워크는 다양한 포인트 클라우드 유형에 대해 손실 없는 및 손실 있는 모드 모두에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ3 희소 컨볼루션과 다중 척도 표현을 통해 계산 복잡도는 얼마나 줄일 수 있을까? 동시에 고압축 성능 유지는 유지될 수 있는가?
• RQ4 다중 척도 및 동일 척도 상관관계 모델링의 통합은 포인트 클라우드 기하 압축에서 점유도 추정을 어떻게 향상시키는가?
• RQ5 척도 간에 동일한 모델 아키텍처를 공유함으로써 최소한의 파라미터 오버헤드로 높은 압축 효율을 달성할 수 있는가?

주요 결과

• SparsePCGC는 밀도가 높은(8iVFB, Owlii, MUVB) 및 희소한(KITTI, Ford) 포인트 클라우드를 포함한 여러 데이터셋에서 최신 기술 수준의 압축 성능을 달성하며, MPEG G-PCC 및 기타 학습 기반 방법들을 능가한다.
• 손실 없는 압축에서는 8단계 SOPA를 사용할 경우 모델 파라미터가 단 4.9 MB 뿐이어서, 밀도가 높고 희소한 포인트 클라우드 모두를 효율적으로 처리할 수 있다.
• 손실 있는 압축에서는 밀도가 높은 포인트 클라우드에 대해 SLNE 향상된 모델이 5.8 MB, 단일 단계 모델이 0.85 MB이며, 희소 라이다 데이터에 대해서는 각각 21.7 MB 및 31.6 MB의 모델 크기를 사용한다.
• 이 방법은 낮은 계산 복잡도를 유지하며, 포인트 클라우드당 인코딩 및 디코딩 시간이 약 1~2초 내외로, OctAttention를 능가하고 G-PCC 버전 14보다 약 두 배 빠르게 동작한다.
• 제안된 SOPA 모델은 동일한 CRM 후처리 모듈을 사용함에도 불구하고 VCN 및 OctAttention보다 뛰어난 BD-Rate 성능 향상을 달성하여 강건성과 일반화 능력을 입증한다.
• 희소 컨볼루션과 다중 척도 표현의 사용은 공간 사전 지식을 효과적으로 활용하여 점유도 추정을 크게 향상시키고 비트스트림 크기를 감소시킨다.

Figure 2: SparsePCGC. In the encoding process (blue arrows), we progressively downscale the PCG tensor and encode occupied voxels at each scale into the binary stream according to their occupancy probability; As for the decoding flow (red arrows), we exactly reconstruct occupied voxels, e.g., POV or