[論文レビュー] Depth Sequence Coding with Hierarchical Partitioning and Spatial-domain Quantisation

Shampa Shahriyar, Manzur Murshed+2 more|arXiv (Cornell University)|Jan 7, 2018

Video Coding and Compression Technologies被引用数 6

ひとこと要約

本稿では、階層的二分木分解（BTBD）と空間ドメインにおける量子化を用いたスタンドアロン型深度シーケンスコーダーを提案する。これにより、優れた無損失および準無損失圧縮を実現する。フレームレベルの均一性を活用し、画素レベルの量子化によってエッジを保持することで、BTBDは準無損失コーディングにおいて3D-HEVCに対して42.2×の圧縮比と6.98 dBのPSNR向上を達成し、視覚合成品質が向上する。

ABSTRACT

Depth coding in 3D-HEVC for the multiview video plus depth (MVD) architecture (i) deforms object shapes due to block-level edge-approximation; (ii) misses an opportunity for high compressibility at near-lossless quality by failing to exploit strong homogeneity (clustering tendency) in depth syntax, motion vector components, and residuals at frame-level; and (iii) restricts interactivity and limits responsiveness of independent use of depth information for "non-viewing" applications due to texture-depth coding dependency. This paper presents a standalone depth sequence coder, which operates in the lossless to near-lossless quality range while compressing depth data superior to lossy 3D-HEVC. It preserves edges implicitly by limiting quantisation to the spatial-domain and exploits clustering tendency efficiently at frame-level with a novel binary tree based decomposition (BTBD) technique. For mono-view coding of standard MVD test sequences, on average, (i) lossless BTBD achieved $\ imes 42.2$ compression-ratio and $-60.0\\%$ coding gain against the pseudo-lossless 3D-HEVC, using the lowest quantisation parameter $QP = 1$, and (ii) near-lossless BTBD achieved $-79.4\\%$ and $6.98$ dB Bj{\\o}ntegaard delta bitrate (BD-BR) and distortion (BD-PSNR), respectively, against 3D-HEVC. In view-synthesis applications, decoded depth maps from BTBD rendered superior quality synthetic-views, compared to 3D-HEVC, with $-18.9\\%$ depth BD-BR and $0.43$ dB synthetic-texture BD-PSNR on average.

研究の動機と目的

• 3D-HEVCの深度マップコーディングにおける限界、すなわちエッジ変形、ブロック単位処理に起因する効率の悪さ、およびテクスチャコーディング依存性を解消する。
• 無損失から準無損失品質範囲において、スタンドアロンで高効率な深度シーケンスコーディングを可能にする。
• フレームレベルでの強い均一性とクラスタリング傾向を活用し、圧縮効率を向上させる。
• 空間ドメインに制限された量子化により、画素レベルの予測残差に小さなスケールステップサイズを適用することで、シャープな物体境界を自然に保持する。
• 合成ビューにおける形状変形を低減することで、視覚合成品質を向上させる。

提案手法

• 歪みの高い確率分布を持つ立方体に分割する階層的二分木分解（BTBD）技術を新たに導入し、深度データを階層的にパーティショニングする。
• 各分解済みデータキューブに独立して適合アーキテクチャの算術符号化を適用し、最適な圧縮を実現する。
• 画素レベルの予測残差に小さなスケールステップサイズを用いて空間ドメインに制限した量子化を実施し、エッジを保持する。
• 予測残差を二重幾何分布（TSG）でモデル化し、MSEの推定と量子化効率の最適化を支援する。
• データの均一性とクラスタリング傾向に基づき、最適なパーティショニングを動的に決定するためのグリーディーヒューリスティックを用いる。
• 深度コーディングとテクスチャコーディングを分離することで、非視覚的応用における深度データの独立的利用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 フレームレベルの均一性を活用することで、スタンドアロン型深度シーケンスコーダーが3D-HEVCを上回る無損失および準無損失圧縮を達成できるか？
• RQ2 3D-HEVCにおける変換ベースの量子化と比較して、空間ドメインにおける量子化が深度マップのシャープなエッジを効果的に保持できるか？
• RQ3 BTBDによる階層的パーティショニングが、深度シーケンスの圧縮効率をどの程度向上させるか？
• RQ4 3D-HEVCと比較して、提案手法のビットレートとPSNRの観点から視覚合成品質にどのような影響を与えるか？
• RQ5 自然な深度シーケンスとCGI深度シーケンスの両方において、異なるクラスタリング傾向を有するが、本手法が有効に機能するか？

主な発見

• 無損失BTBDは平均42.2×の圧縮比を達成し、QP=1における疑似無損失3D-HEVCを顕著に上回った。
• 準無損失BTBDは3D-HEVC比で-79.4%のビットレート削減と6.98 dBのPSNR向上を達成し、優れたレート・ディストーション性能を示した。
• BTBDから復号された深度マップは、Q=15において平均52.2 dBの高いPSNRを維持しており、準無損失品質を示した。
• 視覚合成応用において、BTBDは平均18.9%の深度ビットレート削減と、3D-HEVC比で0.43 dBの合成テクスチャPSNR向上を達成した。
• 主観的評価では、BTBDによる合成ビューで形状変形が低減していることが確認され、特に強いクラスタリングを示す自然シーケンスで顕著であった。
• CGIシーケンスではクラスタリングが弱いため、BTBDの性能はやや劣ったが、それでも3D-HEVCより視覚的に優れたビューを生成し、歪みが少なく抑えられていた。