[논문 리뷰] Hybrid Point Cloud Attribute Compression Using Slice-based Layered Structure and Block-based Intra Prediction

Yiting Shao, Qi Zhang외 2명|arXiv (Cornell University)|2018. 04. 28.

Advanced Vision and Imaging참고 문헌 18인용 수 3

한 줄 요약

이 논문은 조각 기반 계층적 구조와 블록 기반 내부 예측을 이용한 하이브리드 포인트 클라우드 속성 압축 기법을 제안한다. 이 기법은 적응형 그래프 푸리에 변환(GFT)을 라그랑주 최적화와 융합하고, 다수의 재정렬 스캔 모드를 적용한다. 제안된 방법은 최신 기준 RAHT 시스템 대비 29.37%의 BD-rate 향상을 달성했으며, MPEG TMC1 앵커 대비 16.37%의 BD-rate 향상을 기록하여 내부 프레임 색상 속성 압축에서 뛰어난 비율-왜곡 성능을 입증한다.

ABSTRACT

Point cloud compression is a key enabler for the emerging applications of immersive visual communication, autonomous driving and smart cities, etc. In this paper, we propose a hybrid point cloud attribute compression scheme built on an original layered data structure. First, a slice-partition scheme and geometry-adaptive k dimensional-tree (kd-tree) method are devised to generate the four-layer structure. Second, we introduce an efficient block-based intra prediction scheme containing a DC prediction mode and several angular modes, in order to exploit the spatial correlation between adjacent points. Third, an adaptive transform scheme based on Graph Fourier Transform (GFT) is Lagrangian optimized to achieve better transform efficiency. The Lagrange multiplier is off-line derived based on the statistics of color attribute coding. Last but not least, multiple reordering scan modes are dedicated to improve coding efficiency for entropy coding. In intra-frame compression of point cloud color attributes, results demonstrate that our method performs better than the state-of-the-art region-adaptive hierarchical transform (RAHT) system, and on average a 29.37$\%$ BD-rate gain is achieved. Comparing with the test model for category 1 (TMC1) anchor's coding results, which were recently published by MPEG-3DG group on 121st meeting, a 16.37$\%$ BD-rate gain is obtained.

연구 동기 및 목표

• 불규칙하게 분포된 포인트 클라우드 속성을 고효율적으로 압축하는 데 도전하는 데 목적을 두며, 높은 공간 상관성을 가진 속성 데이터를 대상으로 한다.
• 신규한 구조적 및 예측 도구를 통해 포인트 클라우드 속성 내의 공간 레이턴시를 활용하여 압축 효율을 향상시키는 데 목적을 두며.
• 색상 속성의 통계 분석 기반으로 사전에 유도된 라그랑주 최적화를 통한 람다 배수를 활용하여 변환 효율을 최적화하는 데 목적을 두며.
• 잔차 데이터 분포에 맞게 조정된 적응형 재정렬 스캔 모드를 통해 엔트로피 코딩 성능을 향상시키는 데 목적을 두며.

제안 방법

• 조각 분할 기반 및 기하학적 적응형 k-d 트리 분할 기반의 병합 기법을 통해 계층적 처리를 위한 사층 구조 데이터를 생성한다.
• 지역적 공간 상관성을 활용하기 위해 DC 및 다섯 가지 각도 모드를 포함한 블록 기반 내부 예측을 적용하며, 모드 선택은 절대 변환 차이합(SATD)을 사용한다.
• 적응형 변환 기법은 GFT와 DCT를 융합하며, 색상 속성 통계 기반으로 사전에 유도된 라그랑주 최적화를 통한 람다 배수를 활용한다.
• 라그랑주 배수는 훈련 데이터(예: Andrew, Phil, Ricardo, Sarah, Queen_frame_0200 등)로부터 사전 계산되어 비트레이트와 왜곡 간의 균형을 조절한다.
• 엔트로피 코딩 이전에 변환된 잔차에 대해 다수의 재정렬 스캔 모드를 적용하여 압축 효율을 향상시킨다.
• 균일 양자화와 함께 산술 엔트로피 코딩을 사용하며, 모든 코딩 도구(내부 예측 모드, 변환 모드, 스캔 모드, 잔차 데이터)는 비트스트림에 다중 multiplexing된다.

실험 결과

연구 질문

• RQ1 포인트 클라우드 속성의 계층적 압축을 지원하기 위해 효과적인 계층적 데이터 구조를 어떻게 구성할 수 있는가?
• RQ2 블록 기반 내부 예측은 포인트 클라우드 속성 데이터의 레이턴시를 어느 정도 감소시킬 수 있는가?
• RQ3 라그랑주 최적화를 통한 적응형 GFT 기반 변환은 고정된 변환 기법보다 포인트 클라우드 속성 압축에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 다수의 재정렬 스캔 모드는 포인트 클라우드 잔차에 대한 엔트로피 코딩 효율에 어떤 영향을 미치는가?
• RQ5 각 구성 요소(조각 분할, 내부 예측, 적응형 변환, 스캔 재정렬)가 전체 압축 성능 향상에 기여하는 비율은 어느 정도인가?

주요 결과

• 제안된 방법은 내부 프레임 포인트 클라우드 속성 압축에서 최신 기준 RAHT 시스템 대비 평균 29.37%의 BD-rate 향상을 달성한다.
• 평균적으로, MPEG TMC1 앵커 대비 121번째 회의 기준 16.37%의 BD-rate 향상을 기록한다.
• 영상 성분은 RAHT 대비 37.95%의 BD-rate 향상을 기록하였으며, 두 개의 색차 성분은 각각 26.83%와 23.34%의 향상을 기록하였다.
• 단일 분석 결과는 조각 분할, 내부 예측, 적응형 변환, 재정렬 스캔 각각이 전체 비율-왜곡 향상에 상당한 기여를 한다는 것을 확인한다.
• David 및 Dimitris 등의 일부 데이터셋에서 RAHT 대비 Y 성분에 대해 최대 4 dB의 PSNR 향상을 달성한다.
• 고비트레이트 영역에서는 성능이 경쟁력이 유지되지만, 일부 데이터셋(예: Longdress)에 대해서는 변환 기법의 개선 여전히 필요하다.