[論文レビュー] Improving Low Bit-Rate Video Coding using Spatio-Temporal Down-Scaling

Yehuda Dar, Alfred M. Bruckstein⋆|arXiv (Cornell University)|Apr 15, 2014

Video Coding and Compression Technologies参考文献 19被引用数 6

ひとこと要約

本稿では、H.264圧縮の前後に空間的・時間的ダウンスケーリングを適用し、コーデックを変更せずにブロックノイズと歪みを低減することで、低ビットレート動画符号化の性能を向上させるためのスパatio-時間的ダウンスケーリング手法を提案する。ダウンスケーリングにより1ブロックあたりのビット予算が増加し、2次統計に基づく解析的モデルを用いてスケーリング係数を最適化することで、低ビットレートにおいて顕著な品質向上を達成する。

ABSTRACT

Good quality video coding for low bit-rate applications is important for transmission over narrow-bandwidth channels and for storage with limited memory capacity. In this work, we develop a previous analysis for image compression at low bit-rates to adapt it to video signals. Improving compression using down-scaling in the spatial and temporal dimensions is examined. We show, both theoretically and experimentally, that at low bit-rates, we benefit from applying spatio-temporal scaling. The proposed method includes down-scaling before the compression and a corresponding up-scaling afterwards, while the codec itself is left unmodified. We propose analytic models for low bit-rate compression and spatio-temporal scaling operations. Specifically, we use theoretic models of motion-compensated prediction of available and absent frames as in coding and frame-rate up-conversion (FRUC) applications, respectively. The proposed models are designed for multi-resolution analysis. In addition, we formulate a bit-allocation procedure and propose a method for estimating good down-scaling factors of a given video based on its second-order statistics and the given bit-budget. We validate our model with experimental results of H.264 compression.

研究の動機と目的

• 1ブロックあたりのビット予算が不足することで生じる深刻なブロックノイズと歪みを低減すること。
• 時間的スケーリングと運動補償を組み合わせることで、従来の画像ダウンスケーリング符号化技術を動画に拡張すること。
• スパatio-時間的ダウンサンプリング動画符号化における歪みをモデル化する理論的枠組みを構築すること。
• 動画の統計とビット予算に基づいて空間的および時間的ダウンスケーリング係数を最適化するビット割り当て手順を定式化すること。
• H.264符号化を用いて実験的に手法を検証し、レート歪み性能の向上を示すこと。

提案手法

• 符号化の前後に空間的および時間的ダウンスケーリングを適用し、元のコーデックを変更しない。
• 運動補償予測モデルを用いてインターモードブロックの残差誤差を分析し、フレームレートのアップコンバージョンを特殊ケースとして扱う。
• 変換符号化動画における歪みの解析的モデルを構築し、ダウンスケーリングと量子化誤差の両方を組み込む。
• 運動補償予測残差の2次統計（自己相関）を用いて歪みを推定し、スケーリング係数の選定を支援する。
• 合計期待MSEを最小化することで、ダウンスケーリングと符号化歪みのトレードオフを最適化するビット割り当て手順を提案する。
• 係数エネルギーと量子化ノイズを組み込んだ、量子化後の期待平均二乗誤差（MSE）の閉形式表現を導出する。

実験結果

リサーチクエスチョン

• RQ1 スパatio-時間的ダウンスケーリングにより、1ブロックあたりのビット予算を増加させることで、低ビットレート動画符号化における歪みを低減できるか？
• RQ2 空間的および時間的ダウンスケーリング係数が、ダウンスケーリング歪みと符号化歪みのトレードオフにどのように影響するか？
• RQ3 2次統計に基づく理論的モデルが、特定の動画とビット予算に対して最適なダウンスケーリング係数を予測できるか？
• RQ4 運動補償は、ダウンサンプリング動画符号化における歪みモデルにどのように影響するか？
• RQ5 提案手法は、コーデックを変更せずにH.264の性能をどの程度向上できるか？

主な発見

• スパatio-時間的ダウンスケーリングにより、1ブロックあたりの有効ビット予算が増加することで、低ビットレート動画符号化におけるブロックノイズと歪みが顕著に低減される。
• 本手法は、特に200 kbps未満の低ビットレートにおいて、標準H.264と比較してPSNRおよび視覚的品質に明確な向上を示す。
• 運動補償残差の2次統計に基づく最適なダウンスケーリング係数は、一様またはヒューリスティックなスケーリングよりも優れたレート歪み性能を達成する。
• 理論的モデルは、ダウンスケーリングと量子化による歪み成分を正確に予測でき、効果的なビット割り当てを可能にする。
• H.264などの既存コーデックに変更を加えずに適用可能であるため、実運用への実装が容易である。
• 分析から、運動補償予測残差は最適スケーリングの推定に重要な信号であり、そのスペクトル特性がダウンスケーリング意思決定に直接関与することが示された。