[논문 리뷰] IT/IST/IPLeiria Response to the Call for Proposals on JPEG Pleno Point Cloud Coding

André F. R. Guarda, Nuno M. M. Rodrigues외 4명|arXiv (Cornell University)|2022. 08. 04.

3D Surveying and Cultural Heritage인용 수 11

한 줄 요약

이 논문은 JPEG Pleno Point Cloud Coding Call for Proposals에 제출된 딥 러닝 기반의 포인트 클라우드 기하 구조 코덱과 기하-색상 통합 코덱을 제안한다. 기하 코덱은 테스트 세트에서 MPEG G-PCC보다 뛰어난 압축 효율성을 달성하며, V-PCC Intra와 경쟁 가능할 정도로 성능을 보이며, 통합 코덱은 품질 포화 현상으로 인해 성능 향상에 한계를 보인다.

ABSTRACT

This document describes a deep learning-based point cloud geometry codec and a deep learning-based point cloud joint geometry and colour codec, submitted to the Call for Proposals on JPEG Pleno Point Cloud Coding issued in January 2022. The proposed codecs are based on recent developments in deep learning-based PC geometry coding and offer some of the key functionalities targeted by the Call for Proposals. The proposed geometry codec offers a compression efficiency that outperforms the MPEG G-PCC standard and outperforms or is competitive with the V-PCC Intra standard for the JPEG Call for Proposals test set; however, the same does not happen for the joint geometry and colour codec due to a quality saturation effect that needs to be overcome.

연구 동기 및 목표

• 신규 3차원 미디어 표준에서 효율적인 포인트 클라우드 압축의 필요성을 해결하기 위해.
• 기존 표준인 MPEG G-PCC보다 우수한 성능을 보이는 딥 러닝 기반 기하 코덱을 개발하기 위해.
• 압축 효율성을 향상시키기 위해 딥 러닝을 활용한 기하 및 색상 통합 코딩을 탐색하기 위해.
• JPEG Pleno Point Cloud Coding Call for Proposals에 경쟁력 있고 최첨단 수준의 솔루션을 제출하기 위해.
• 품질 포화와 같은 제한 요소를 식별하고 이를 해결하기 위해.

제안 방법

• 기하 코덱은 기하 좌표를 예측하고 압축하기 위해 딥 네트워크를 활용한 학습 가능한 포인트 클라우드 표현을 사용한다.
• 효율적인 압축을 위해 국소 및 전역 포인트 클라우드 구조를 모델링하기 위해 계층적 특징 학습 프레임워크를 사용한다.
• 공유된 네트워크 아키텍처를 통해 공간적 및 의미적 특징을 통합하여 기하 및 색상 코딩을 공동 최적화한다.
• 손실 압축을 가능하게 하며 높은 비율-왜곡 효율성을 확보하기 위해 가분성 있는 양자화 및 엔트로피 모델을 적용한다.
• L2 및 시각적 재구성 손실의 조합을 사용하여 JPEG Pleno 테스트 세트에서 엔드 투 엔드로 모델을 훈련한다.
• 유연한 비트레이트 설정을 지원하는 가변적 코딩을 지원하며 실용적 구현에 적합하다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 기하 코덱이 포인트 클라우드에 대해 기존 표준인 MPEG G-PCC보다 압축 효율성이 뛰어나게 구현될 수 있는가?
• RQ2 기하-색상 통합 코덱의 성능은 비율-왜곡 균형 측면에서 독립된 기하 코덱과 비교해 어떻게 되는가?
• RQ3 현재 딥 러닝 기반 통합 코딩 접근법의 한계, 특히 품질 포화 현상은 무엇인가?
• RQ4 엔드 투 엔드로 학습된 코덱이 얼마나 높은 수준의 확장성과 표준화 요구사항과의 호환성을 달성할 수 있는가?
• RQ5 제안된 방법은 다양한 포인트 클라우드 콘텐츠와 변동하는 기하 복잡도를 어떻게 처리하는가?

주요 결과

• 제안된 기하 코덱은 JPEG Pleno 테스트 세트에서 MPEG G-PCC보다 더 뛰어난 압축 효율성을 달성한다.
• 기하 코덱은 비율-왜곡 성능 측면에서 V-PCC Intra 표준과 경쟁하거나 그 이상의 성능을 보인다.
• 기하-색상 통합 코덱은 높은 압축 효율성에도 불구하고 품질 포화 현상이 나타나 성능 향상에 제한을 받는다.
• 기하-색상 통합 코덱의 성능은 비율-왜곡 효율성 측면에서 기하 전용 코덱을 초월하지 못하며, 공동 최적화에서의 상충 관계를 보여준다.
• 딥 러닝 기반 접근법은 표준화 호환성과 함께 확장 가능한 엔드 투 엔드 포인트 클라우드 압축의 강력한 잠재력을 보여준다.
• 결과는 기하-색상 통합 코딩에서 품질 포화를 극복하기 위한 향상된 공동 최적화 전략의 필요성을 부각시킨다.