[논문 리뷰] VoxelContext-Net: An Octree based Framework for Point Cloud Compression

Zizheng Que, Guo Lu외 1명|arXiv (Cornell University)|2021. 05. 05.

3D Shape Modeling and Analysis참고 문헌 37인용 수 12

한 줄 요약

VoxelContext-Net는 국소 볼록체(context)를 활용하여 엔트로피 모델링을 향상시키고 재구성 품질을 향상시키는, 3D 포인트 클라우드 압축을 위한 새로운 옥트리 기반 딥러닝 프레임워크이다. 이는 이웃한 볼록체로부터 공간적 맥락을 통합하고 좌표 보정 모듈을 적용하여 정적(ScanNet) 및 동적(Semantic KITTI) 포인트 클라우드 데이터셋에서 최신 기술 수준의 압축 성능을 달성하며, G-PCC 및 OctSqueeze와 같은 이전 방법들보다 비트레이트 감소와 후행 작업 정확도에서 뛰어나다.

ABSTRACT

In this paper, we propose a two-stage deep learning framework called VoxelContext-Net for both static and dynamic point cloud compression. Taking advantages of both octree based methods and voxel based schemes, our approach employs the voxel context to compress the octree structured data. Specifically, we first extract the local voxel representation that encodes the spatial neighbouring context information for each node in the constructed octree. Then, in the entropy coding stage, we propose a voxel context based deep entropy model to compress the symbols of non-leaf nodes in a lossless way. Furthermore, for dynamic point cloud compression, we additionally introduce the local voxel representations from the temporal neighbouring point clouds to exploit temporal dependency. More importantly, to alleviate the distortion from the octree construction procedure, we propose a voxel context based 3D coordinate refinement method to produce more accurate reconstructed point cloud at the decoder side, which is applicable to both static and dynamic point cloud compression. The comprehensive experiments on both static and dynamic point cloud benchmark datasets(e.g., ScanNet and Semantic KITTI) clearly demonstrate the effectiveness of our newly proposed method VoxelContext-Net for 3D point cloud geometry compression.

연구 동기 및 목표

• 기존 옥트리 기반 및 볼록체 기반 포인트 클라우드 압축 방법의 한계, 특히 공간적 종속성 모델링 및 재구성 왜곡 감소 측면에서의 문제를 해결하기 위해.
• 정적 및 동적 포인트 클라우드 압축에 모두 적용 가능한 통합 프레임워크를 개발하여 국소 공간 맥락을 활용해 엔트로피 모델링을 향상시키기 위해.
• 옥트리 구조화 과정에서 발생하는 왜곡을 줄이기 위해 디코더에서 국소 볼록체 맥락 기반의 좌표 보정 방법을 도입하여 보다 정확한 3D 포인트 재구성을 위해.
• 이웃 프레임의 공액된 볼록체 표현을 활용하여 동적 포인트 클라우드에서 시간적 종속성을 탐색함으로써 압축 효율을 향상시키기 위해.

제안 방법

• 입력 포인트 클라우드를 옥트리 구조로 정렬하며, 각 비엽절 노드 기호는 자식 노드 8개의 점유 상태를 나타낸다.
• 각 노드에 대해 동일 깊이 수준의 이웃 노드로부터의 공간 맥락을 인코딩하기 위해 크기 $9\times9\times9$의 국소 볼록체 표현을 계산한다.
• 국소 볼록체 맥락을 입력으로 사용하여 깊은 엔트로피 모델을 훈련시켜 옥트리 노드 기호를 손실 없는 방식으로 압축한다.
• 동적 포인트 클라우드의 경우, 이전 및 이후 프레임의 볼록체 표현을 포함하여 운동과 시간적 중복성을 모델링하기 위해 시간적 맥락을 통합한다.
• 디코더에 볼록체 맥락 기반의 좌표 보정 모듈을 적용하여 잎노드의 보다 정확한 3D 좌표를 재구성함으로써 기하학적 왜곡을 감소시킨다.
• 프레임워크는 엔드 투 엔드로 훈련 가능하며 압축 성능 최적화를 위해 엔트로피 코딩 및 재구성 단계를 통합한다.

실험 결과

연구 질문

• RQ1 동일 깊이 수준의 이웃 노드로부터의 국소 볼록체 맥락이 옥트리 구조 포인트 클라우드 압축에서 엔트로피 모델링을 향상시킬 수 있는가?
• RQ2 이웃 프레임의 시간적 볼록체 맥락을 통합함으로써 동적 포인트 클라우드의 압축 효율은 어떻게 향상되는가?
• RQ3 국소 볼록체 맥락 기반의 좌표 보정 모듈이 재구성된 포인트 클라우드의 기하학적 왜곡을 줄일 수 있는가?
• RQ4 제안된 방법이 벤치마크 데이터셋에서 수작업 및 학습 기반 기준선 대비 비트레이트와 재구성 품질 측면에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 재구성된 포인트 클라우드의 품질은 객체 탐지 및 의미 분할과 같은 후행 작업에 어떤 영향을 미치는가?

주요 결과

• ScanNet 데이터셋에서 VoxelContext-Net은 G-PCC 대비 43.66% 비트레이트 감소를 달성하여 기준선 방법들을 크게 능가한다.
• Semantic KITTI 데이터셋에서 동적 압축 시, G-PCC 대비 31.15% 비트레이트 감소 및 OctSqueeze 대비 38.10% 비트레이트 감소를 기록한다.
• 크기 $9\times9\times9$의 국소 볼록체 표현은 압축 성과와 계산 비용 사이의 최적의 트레이드오���을 제공하며, 깊이 9에서 $5\times5\times5$ 표현 대비 비트레이트를 2.5% 향상시킨다.
• ScanNet에서 VoxelContext-Net의 디코딩 시간은 49–109ms, KITTI에서는 52–90ms로 G-PCC보다 빠르지만 OctSqueeze보다 略로 느리며, 뛰어난 압축 성능를 달성한다.
• 객체 탐지 및 의미 분할과 같은 후행 작업에서 VoxelContext-Net으로 재구성된 포인트 클라우드를 사용할 경우, 특히 저비트레이트에서 mAP 및 IOU 점수가 높아진다.
• 좌표 보정 모듈은 재구성 정확도를 크게 향상시켜 압축 성능 및 후행 작업 모두에서 뛰어난 성능을 발휘한다.