[논문 리뷰] A Comprehensive Study and Comparison of Core Technologies for MPEG 3D Point Cloud Compression

Hao Liu, Hui Yuan외 3명|arXiv (Cornell University)|2019. 12. 20.

Advanced Vision and Imaging참고 문헌 34인용 수 4

한 줄 요약

이 논문은 MPEG의 3D 포인트 클라우드 압축(PCC) 표준 핵심 기술 간 종합적인 비교를 제공하며, TMC13(G-PCC)와 TMC2(V-PCC) 인코더의 비트레이트-왜곡 성능, 복잡도, 내성에 대해 평가한다. TMC2는 압축 효율성이 평균적으로 가장 뛰어나며, 특히 손실 압축 기하학적 및 색상 데이터에서 뛰어난 성능을 보인다. 반면 TMC13은 낮은 계산 비용으로 흐린 포인트 클라우드에서 뛰어난 성능을 발휘한다.

ABSTRACT

Point cloud based 3D visual representation is becoming popular due to its ability to exhibit the real world in a more comprehensive and immersive way. However, under a limited network bandwidth, it is very challenging to communicate this kind of media due to its huge data volume. Therefore, the MPEG have launched the standardization for point cloud compression (PCC), and proposed three model categories, i.e., TMC1, TMC2, and TMC3. Because the 3D geometry compression methods of TMC1 and TMC3 are similar, TMC1 and TMC3 are further merged into a new platform namely TMC13. In this paper, we first introduce some basic technologies that are usually used in 3D point cloud compression, then review the encoder architectures of these test models in detail, and finally analyze their rate distortion performance as well as complexity quantitatively for different cases (i.e., lossless geometry and lossless color, lossless geometry and lossy color, lossy geometry and lossy color) by using 16 benchmark 3D point clouds that are recommended by MPEG. Experimental results demonstrate that the coding efficiency of TMC2 is the best on average (especially for lossy geometry and lossy color compression) for dense point clouds while TMC13 achieves the optimal coding performance for sparse and noisy point clouds with lower time complexity.

연구 동기 및 목표

• MPEG의 핵심 3D 포인트 클라우드 압축 기술의 비트레이트-왜곡 성능, 복잡도, 내성에 대한 평가 및 비교.
• 정적 및 동적 포인트 클라우드 압축을 위한 TMC13(G-PCC) 및 TMC2(V-PCC) 인코더 아키텍처의 상세 분석.
• 다양한 포인트 클라우드 특성(밀도, 흐림, 노이즈)과 압축 설정(무손실/손실 기하학 및 색상)에 최적의 설정 식별.
• 향후 3D 포인트 클라우드 압축 분야의 연구 및 표준화를 위한 정량적 기준 제공.

제안 방법

• 기하학 및 속성 예측 기반 TMC13의 세 가지 인코더 변형(RAHT, LoD(수준별 상세도 없음/있음)) 평가.
• 동적 포인트 클라우드 압축을 위한 벡터 기반 운동 보정 및 예측 코딩을 활용한 TMC2의 구현 및 벤치마킹.
• 표준 평가 지표 적용: 비트레이트-왜곡(R-D) 성능, 시간 복잡도(인코딩 시간), 주관적 품질 평가.
• 재현 가능성을 확보하기 위해 다양한 밀도와 노이즈 수준을 가진 16개의 표준 MPEG 벤치마크 포인트 클라우드 사용.
• 무손실 기하학/무손실 색상, 무손실 기하학/손실 색상, 손실 기하학/손실 색상, 손실 기하학/무손실 색상의 네 가지 압축 설정 하에서 인코딩 시간과 R-D 성능의 정량적 비교.
• 복잡도와 성능 간 상호 교환 관계 평가를 위해 삼각형 표면 근사화 및 직접 기하학 양자화 방법 통합.

실험 결과

연구 질문

• RQ1 TMC13과 TMC2는 다양한 압축 설정(무손실/손실 기하학 및 색상)에서 비트레이트-왜곡 효율성 측면에서 어떻게 성능을 내는가?
• RQ2 TMC13 내부의 인코더 아키텍처(RAHT, LoD(수준별 상세도 없음), LoD(수준별 상세도 있음)) 중에서 특히 저비트레이트에서 가장 뛰어난 R-D 성능을 보이는 것은 무엇인가?
• RQ3 포인트 클라우드의 밀도와 노이즈는 TMC13과 TMC2의 성능 및 복잡도에 어떤 영향을 미치는가?
• RQ4 TMC2의 시간 복잡도는 TMC13의 구성 요소와 비교해 어떻게 되며, 실시간 응용에 최적화될 수 있는가?
• RQ5 포인트 간 품질 측정 지표는 재구성된 포인트 클라우드의 주관적 시각 품질 평가와 얼마나 관련이 있는가?

주요 결과

• TMC2는 밀도 있는 포인트 클라우드에서 손실 기하학 및 손실 색상 압축을 포함해 평균적으로 가장 뛰어난 비트레이트-왜곡 성능을 기록한다.
• 희박하고 노이즈가 많은 포인트 클라우드에서는 TMC13의 LoD 인코더(수준별 상세도 포함)가 TMC2를 능가하며, TMC2는 투영된 2차원 평면에서의 상관관계 손실로 인해 성능이 떨어진다.
• TMC13의 RAHT 인코더는 가장 낮은 시간 복잡도(사례 3 평균 778.98초)를 보이며, TMC2는 가장 높은 복잡도(평균 1593.47초)를 보여 계산 비용이 높음을 시사한다.
• LoD 인코더(수준별 상세도 포함)는 특히 밀도 있는 포인트 클라우드에서 저비트레이트에서 가장 뛰어난 R-D 성능을 보이며, 희박한 데이터에서는 덜 효과적이다.
• TMC13의 삼각형 표면 근사화 방법은 직접 기하학 양자화보다 훨씬 더 시간 소모가 크며, 이는 복잡도 증가의 주요 원인이다.
• 포인트 간 품질 측정 지표는 주관적 시각 품질 평가에 비효율적이며, 더 나은 인지 기반 지표의 필요성을 시사한다.