[논문 리뷰] Depth Sequence Coding with Hierarchical Partitioning and Spatial-domain Quantisation

Shampa Shahriyar, Manzur Murshed외 2명|arXiv (Cornell University)|2018. 01. 07.

Video Coding and Compression Technologies인용 수 6

한 줄 요약

이 논문은 계층적 이진 트리 기반 분해(BTBD)와 공간 도메인 양자화를 사용하여 손실 없는 및 거의 손실 없는 압축 성능을 향상시킨 독립형 깊이 시퀀스 코더를 제안한다. 프레임 수준의 균일성과 픽셀 수준의 양자화를 통한 에지 보존을 통해 BTBD는 거의 손실 없는 코딩에서 3D-HEVC 대비 42.2× 압축 비율과 6.98 dB의 PSNR 향상을 달성하였으며, 시각화 품질 또한 향상시켰다.

ABSTRACT

Depth coding in 3D-HEVC for the multiview video plus depth (MVD) architecture (i) deforms object shapes due to block-level edge-approximation; (ii) misses an opportunity for high compressibility at near-lossless quality by failing to exploit strong homogeneity (clustering tendency) in depth syntax, motion vector components, and residuals at frame-level; and (iii) restricts interactivity and limits responsiveness of independent use of depth information for "non-viewing" applications due to texture-depth coding dependency. This paper presents a standalone depth sequence coder, which operates in the lossless to near-lossless quality range while compressing depth data superior to lossy 3D-HEVC. It preserves edges implicitly by limiting quantisation to the spatial-domain and exploits clustering tendency efficiently at frame-level with a novel binary tree based decomposition (BTBD) technique. For mono-view coding of standard MVD test sequences, on average, (i) lossless BTBD achieved $\ imes 42.2$ compression-ratio and $-60.0\\%$ coding gain against the pseudo-lossless 3D-HEVC, using the lowest quantisation parameter $QP = 1$, and (ii) near-lossless BTBD achieved $-79.4\\%$ and $6.98$ dB Bj{\\o}ntegaard delta bitrate (BD-BR) and distortion (BD-PSNR), respectively, against 3D-HEVC. In view-synthesis applications, decoded depth maps from BTBD rendered superior quality synthetic-views, compared to 3D-HEVC, with $-18.9\\%$ depth BD-BR and $0.43$ dB synthetic-texture BD-PSNR on average.

연구 동기 및 목표

• 블록 수준 처리로 인한 비효율적 압축과 텍스처 코딩에 의존하는 문제, 깊이 맵 코딩에서의 에지 왜곡 등의 3D-HEVC의 한계를 해결한다.
• 손실 없는에서 거의 손실 없는 품질 범위에서 독립적이고 고효율적인 깊이 시퀀스 코딩을 가능하게 한다.
• 깊이 데이터의 프레임 수준에서의 강한 균일성과 군집 경향성을 활용하여 압축 효율을 향상시킨다.
• 공간 도메인에 국한된 양자화를 통해 픽셀 수준 예측 잔차에 작은 스케일링 스텝 크기를 적용하여 날카운 물체 경계를 자연스럽게 보존한다.
• 합성 시야의 왜곡을 줄임으로써 시각화 품질을 향상시킨다.

제안 방법

• 이진 트리 기반 분해(BTBD) 기법을 도입하여 깊이 데이터를 확률 분포가 비대칭인 입방체로 계층적으로 분할한다.
• 각 분해된 데이터 입방체를 독립적으로 최적의 압축을 위해 문맥 적응형 산술 코딩을 적용한다.
• 픽셀 수준의 예측 잔차에 작은 스케일링 스텝 크기를 사용하여 공간 도메인에 국한된 양자화를 제한함으로써 에지를 보존한다.
• 예측 잔차를 이중측 기하분포(TSG)로 모델링하여 MSE를 추정하고 양자화 효율을 안내한다.
• 자료의 균일성과 군집 경향성을 기반으로 최적의 분할을 적응적으로 결정하기 위해 탐욕 히우리스틱을 사용한다.
• 깊이 코딩을 텍스처 코딩에서 분리하여 깊이 데이터를 시각화 외의 응용 분야에서 독립적으로 활용할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 3D-HEVC에 비해 3D-HEVC의 한계를 극복하고, 3D-HEVC 대비 손실 없는 및 거의 손실 없는 압축 성능을 향상시킬 수 있는가?
• RQ2 3D-HEVC의 변환 기반 양자화와 비교해 공간 도메인 양자화가 깊이 맵의 날카운 에지를 효과적으로 보존하는가?
• RQ3 BTBD를 통한 계층적 분할이 깊이 시퀀스의 압축 효율을 얼마나 향상시키는가?
• RQ4 3D-HEVC 대비 비트레이트와 PSNR 측면에서 제안된 코더가 시각화 품질에 어떤 영향을 미치는가?
• RQ5 자연적 깊이 시퀀스와 CGI 깊이 시퀀스의 군집 경향성 차이가 있음에도 불구하고, 제안된 방법이 둘 다 효과적인가?

주요 결과

• 손실 없는 BTBD는 평균적으로 42.2×의 압축 비율을 달성하여, QP=1일 때 3D-HEVC의 가짜 손실 없는 방식보다 뚜렷이 뛰어난 성능을 보였다.
• 거의 손실 없는 BTBD는 3D-HEVC 대비 -79.4%의 비트레이트 감소와 6.98 dB의 PSNR 향상을 기록하여, 더 뛰어난 비트레이트-왜곡 성능을 입증하였다.
• BTBD에서 복원된 깊이 맵는 Q=15일 때 평균 PSNR 52.2 dB를 유지하여 거의 손실 없는 품질임을 입증하였다.
• 시각화 응용 분야에서 BTBD는 깊이 비트레이트를 평균 18.9% 감소시키고, 합성 텍스처의 PSNR를 3D-HEVC 대비 0.43 dB 향상시켰다.
• 주관적 평가 결과, BTBD는 특히 강한 군집 경향성을 보이는 자연 시퀀스에서 합성 시야의 형태 왜곡을 줄였음을 확인하였다.
• CGI 시퀀스에서는 군집 경향성이 약하기 때문에 BTBD의 성능이 다소 떨어졌지만, 여전히 3D-HEVC보다 시각적으로 열등한 왜곡을 보이며 더 나은 시각화 결과를 제공하였다.