[论文解读] Depth Sequence Coding with Hierarchical Partitioning and Spatial-domain Quantisation

Shampa Shahriyar, Manzur Murshed+2 more|arXiv (Cornell University)|Jan 7, 2018

Video Coding and Compression Technologies被引用 6

一句话总结

本文提出一种基于分层二叉树分解（BTBD）和时域量化技术的独立深度序列编码器，实现了卓越的无损与近无损压缩性能。通过利用帧级同质性并采用像素级量化保留边缘信息，BTBD在近无损编码中实现42.2倍压缩率，相较3D-HEVC提升6.98 dB PSNR，同时显著改善了视图合成质量。

ABSTRACT

Depth coding in 3D-HEVC for the multiview video plus depth (MVD) architecture (i) deforms object shapes due to block-level edge-approximation; (ii) misses an opportunity for high compressibility at near-lossless quality by failing to exploit strong homogeneity (clustering tendency) in depth syntax, motion vector components, and residuals at frame-level; and (iii) restricts interactivity and limits responsiveness of independent use of depth information for "non-viewing" applications due to texture-depth coding dependency. This paper presents a standalone depth sequence coder, which operates in the lossless to near-lossless quality range while compressing depth data superior to lossy 3D-HEVC. It preserves edges implicitly by limiting quantisation to the spatial-domain and exploits clustering tendency efficiently at frame-level with a novel binary tree based decomposition (BTBD) technique. For mono-view coding of standard MVD test sequences, on average, (i) lossless BTBD achieved $\ imes 42.2$ compression-ratio and $-60.0\\%$ coding gain against the pseudo-lossless 3D-HEVC, using the lowest quantisation parameter $QP = 1$, and (ii) near-lossless BTBD achieved $-79.4\\%$ and $6.98$ dB Bj{\\o}ntegaard delta bitrate (BD-BR) and distortion (BD-PSNR), respectively, against 3D-HEVC. In view-synthesis applications, decoded depth maps from BTBD rendered superior quality synthetic-views, compared to 3D-HEVC, with $-18.9\\%$ depth BD-BR and $0.43$ dB synthetic-texture BD-PSNR on average.

研究动机与目标

• 解决3D-HEVC在深度图编码中的局限性，包括边缘变形、因块级处理导致的压缩效率低下，以及对纹理编码的依赖。
• 实现独立、高效且适用于从无损到近无损质量范围的深度序列编码。
• 利用深度数据在帧级表现出的强同质性与聚类倾向，提升压缩效率。
• 通过将量化限制在时域，实现像素级预测残差的量化，从而天然保留锐利的物体边界。
• 通过减少合成视图中的形状失真，提升视图合成质量。

提出的方法

• 提出一种新型的基于二叉树的分解（BTBD）技术，将深度数据分层划分为具有偏斜概率分布的长方体。
• 对每个分解后的数据长方体独立应用上下文自适应算术编码，以实现最优压缩。
• 通过在像素级预测残差上使用小步长的标量量化，将量化限制在时域，以保留边缘信息。
• 采用双侧几何（TSG）分布对预测残差进行建模，以估计MSE并指导量化效率。
• 采用贪心启发式方法，根据数据同质性与聚类倾向自适应确定最优划分。
• 将深度编码与纹理编码解耦，使深度数据可在非视图应用中独立使用。

实验结果

研究问题

• RQ1 通过利用帧级同质性，独立的深度序列编码器是否能在无损与近无损压缩中超越3D-HEVC？
• RQ2 与3D-HEVC中基于变换的量化相比，时域量化是否能更有效地保留深度图中的锐利边缘？
• RQ3 基于BTBD的分层划分在多大程度上提升了深度序列的压缩效率？
• RQ4 与3D-HEVC相比，所提编码器在比特率与PSNR方面对视图合成质量有何影响？
• RQ5 尽管自然序列与CGI序列的聚类倾向不同，该方法是否对两者均有效？

主要发现

• 无损BTBD实现了平均42.2倍的压缩率，显著优于3D-HEVC在QP=1时的伪无损编码性能。
• 近无损BTBD相较3D-HEVC实现-79.4%的码率增益与6.98 dB的PSNR增益，展现出更优的率失真性能。
• BTBD解码后的深度图在Q=15时仍保持平均52.2 dB的高PSNR，表明其具备近无损质量。
• 在视图合成应用中，BTBD平均将深度比特率降低18.9%，并使合成纹理PSNR提升0.43 dB，优于3D-HEVC。
• 主观评估证实，BTBD生成的合成视图中形状失真显著减少，尤其在聚类性强的自然序列中表现更优。
• 由于CGI序列聚类性较弱，BTBD性能略低，但仍生成视觉更优的视图，畸变少于3D-HEVC。