[논문 리뷰] Multiscale Point Cloud Geometry Compression

Jianqiang Wang, Dandan Ding외 2명|arXiv (Cornell University)|2020. 11. 07.

3D Shape Modeling and Analysis참고 문헌 17인용 수 5

한 줄 요약

이 논문은 다중 척도, 희소 컨볼루션 기반의 엔드 투 엔드 학습 프레임워크를 제안하여 3D 포인트 클라우드 기하 구조를 계층적으로 재샘플링을 통해 점진적으로 재구성한다. 희소 컨볼루션을 통해 희소성을 활용하고 기하 구조의 손실 없는 옥트리 압축과 학습된 확률적 압축을 특징에서 분리함으로써, MPEG G-PCC에 비해 70% 이상, V-PCC에 비해 40% 이상의 BD-Rate 향상을 달성하였으며, 메모리 및 계산 비용을 크게 감소시켰다.

ABSTRACT

Recent years have witnessed the growth of point cloud based applications because of its realistic and fine-grained representation of 3D objects and scenes. However, it is a challenging problem to compress sparse, unstructured, and high-precision 3D points for efficient communication. In this paper, leveraging the sparsity nature of point cloud, we propose a multiscale end-to-end learning framework which hierarchically reconstructs the 3D Point Cloud Geometry (PCG) via progressive re-sampling. The framework is developed on top of a sparse convolution based autoencoder for point cloud compression and reconstruction. For the input PCG which has only the binary occupancy attribute, our framework translates it to a downscaled point cloud at the bottleneck layer which possesses both geometry and associated feature attributes. Then, the geometric occupancy is losslessly compressed using an octree codec and the feature attributes are lossy compressed using a learned probabilistic context model.Compared to state-of-the-art Video-based Point Cloud Compression (V-PCC) and Geometry-based PCC (G-PCC) schemes standardized by the Moving Picture Experts Group (MPEG), our method achieves more than 40% and 70% BD-Rate (Bjontegaard Delta Rate) reduction, respectively. Its encoding runtime is comparable to that of G-PCC, which is only 1.5% of V-PCC.

연구 동기 및 목표

• 네트워크 기반 응용 프로그램을 위한 효율적인 압축을 위해 희소하고 비구조적이며 고정밀도 3D 포인트 클라우드를 처리하는 데 도전하는 문제를 해결한다.
• 기존의 딥 러닝 기반 방법에서 포인트 클라우드의 희소성을 활용하지 못하는 밀도 높은 3D 컨볼루션의 비효율성을 극복한다.
• 비용과 성능의 균형을 고려한 저복잡도, 고효율의 학습 기반 압축 프레임워크를 개발한다.
• 기존의 학습 기반 방법에 비해 메모리 사용량과 런타임을 줄여 딥 러닝 기반 포인트 클라우드 압축의 실용적 구현을 가능하게 한다.

제안 방법

• 입력된 포인트 클라우드 기하 구조를 이진 점유 박자로 표현한 후, 희소 컨볼루션 기반 오토인코더를 사용하여 처리한다.
• 진행적 다중 척도 재샘플링을 구현: 인코더에서의 다운스케일링과 디코더에서의 업스케일링을 통해 희소성을 활용하고 국소 기하 구조를 특징 표현에 통합한다.
• 버퍼 너머에서 기하 점유는 옥트리 코덱을 사용해 손실 없는 압축을 수행하고, 특징 속성은 학습된 확률적 맥락 모델을 사용하여 압축한다.
• 모든 척도에서 비트 레이트와 재구성 왜곡을 동시에 최적화하기 위해 이진 교차 엔트로피(BCE) 손실을 사용한다.
• 자기회귀적 사전(3D 마스크 컨볼루션을 통한) 또는 투과 사전(특징 다운스케일링을 통한)을 사용한 적응형 맥락 모델링을 적용하여 비율-왜곡 성능을 향상시킨다.
• 희소 텐서 연산을 활용하여 밀도 높은 컨볼루션 접근 방식에 비해 메모리 사용량과 FLOPs를 크게 감소시킨다.

실험 결과

연구 질문

• RQ1 다중 척도, 희소 컨볼루션 기반 오토인코더 프레임워크는 기존의 V-PCC 및 G-PCC 코덱에 비해 뛰어난 비율-왜곡 성능을 달성할 수 있는가?
• RQ2 포인트 클라우드의 희소성은 진행적 재샘플링과 희소 컨볼루션을 통해 얼마나 효과적으로 활용될 수 있으며, 계산 및 메모리 비용을 얼마나 줄일 수 있는가?
• RQ3 최신의 학습 기반 압축 방법인 Learned-PCGC와 비교했을 때, 제안된 방법의 인코딩/디코딩 복잡도와 메모리 사용량은 어떠한가?
• RQ4 자기회귀적 사전 또는 투과 사전을 사용한 적응형 맥락 모델링은 금지적인 계산 부담 없이도 압축 효율을 추가로 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 표준 테스트 시퀀스에서 MPEG G-PCC에 비해 70.2%의 BD-Rate 감소, V-PCC에 비해 40.1%의 BD-Rate 감소를 달성하였다.
• 단일 척도 재구성에 비해 약 75%의 메모리 사용량 감소와 3배의 계산 속도 향상을 달성하였다.
• 8iVFB에서 인코딩 및 디코딩 런타임은 G-PCC와 유사한 수준(1.58초 및 5.40초)이며, V-PCC(103.45초)보다 훨씬 빠르며, GPU 메모리 사용량은 각각 333 MB 및 1,273 MB에 불과하다.
• 모델은 오직 778,000개의 파라미터(약 3.2 MB)만을 사용하여 자원 제약이 있는 장치에의 배포에 적합하다.
• 자기회귀적 사전을 통합하면 추가로 7.2%의 BD-Rate 감소가 발생하고, 투과 사전은 4.14%의 향상을 이룬다.
• 주관적 재구성 품질은 V-PCC 및 G-PCC 모두를 능가하며, 더 선명한 기하 구조적 세부 정보가 유지된다.