[論文レビュー] Regression-based Intra-prediction for Image and Video Coding

Carlo Noel Ochotorena, Yukihiko Yamashita|arXiv (Cornell University)|May 12, 2016

Video Coding and Compression Technologies参考文献 23被引用数 3

ひとこと要約

この論文では、自然画像ブロックに対して正則化回帰を用いて、HEVC風の予測モードを繰り返し精錬する回帰ベースの内挿予測（RIP）手法を提案する。本手法は、すべてのブロックサイズおよび条件下で予測精度を顕著に向上させ、特に低ビットレート・最悪ケースの状況下でも同様の効果を示すが、オフライン学習後は行列積に還元されるため、符号化時の計算複雑度は低く抑えられる。

ABSTRACT

By utilizing previously known areas in an image, intra-prediction techniques can find a good estimate of the current block. This allows the encoder to store only the error between the original block and the generated estimate, thus leading to an improvement in coding efficiency. Standards such as AVC and HEVC describe expert-designed prediction modes operating in certain angular orientations alongside separate DC and planar prediction modes. Being designed predictors, while these techniques have been demonstrated to perform well in image and video coding applications, they do not necessarily fully utilize natural image structures. In this paper, we describe a novel system for developing predictors derived from natural image blocks. The proposed algorithm is seeded with designed predictors (e.g. HEVC-style prediction) and allowed to iteratively refine these predictors through regularized regression. The resulting prediction models show significant improvements in estimation quality over their designed counterparts across all conditions while maintaining reasonable computational complexity. We also demonstrate how the proposed algorithm handles the worst-case scenario of intra-prediction with no error reporting.

研究の動機と目的

• HEVCおよびAVCにおける手作業で設計された内挿予測モードの限界を解消し、自然画像の構造的特徴を十分に活用できるようにする。
• 実際の画像データを用いて、参照ピクセルから予測ブロックへの線形写像を学習することで、予測精度を向上させる。
• エラー報告なし、かつ左上ブロックのみが符号化されるような最悪ケース条件でも良好に動作する、頑健な内挿予測システムを構築する。
• 事前学習後は内挿予測を1回の行列積に還元することで、符号化時の計算複雑度を低く保つ。
• 画像符号化における内挿予測性能を分離することで、本手法の動画符号化への拡張可能性を実証する。

提案手法

• 既存のHEVC風の予測モード（DC、プランラーモード、および33種類の角モード）を初期予測子として用い、アルゴリズムを初期化する。
• k-meansクラスタリングにインspiredされた反復的精錬プロセスを採用：各トレーニングブロックを最も性能の良い予測子に割り当て、その後各クラスタに対して再び線形回帰モデルを訓練する。
• 過学習を防ぎ、画像構造全体にわたる一般化性能を向上させるために、正則化回帰（例：リッジ回帰）を適用する。
• グループ固有の回帰行列をスタックすることでグローバル予測行列を構築し、1回の行列積によって単一ステップで予測を実行可能にする。
• 最適化された線形代数ライブラリ（例：BLAS）を活用し、符号化時の推論を効率化する。
• エラー報告なしの最悪ケース内挿符号化を可能にする：左上ブロックのみを用いて画像全体を再構築し、残差誤差は1回のみ報告する。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型の回帰アプローチは、手作業で設計されたHEVC風モードと比較して、内挿予測精度を顕著に向上させることができるか？
• RQ2 エラー報告なし、かつ最小限の事前情報しか与えられない最悪ケースの内挿符号化条件下で、本手法はどのように性能を発揮するか？
• RQ3 回帰モデルの反復的精錬は、多様な画像コンテンツおよびブロックサイズにおいて、予測品質をどの程度向上させ得るか？
• RQ4 本手法は、向上した精度にもかかわらず、符号化時に計算複雑度を低く保てるか？
• RQ5 学習済み予測子は、異なる画像タイプおよびブロック寸法（例：4×4から32×32）において、効果的に一般化できるか？

主な発見

• 最良状況下において、Lena、Peppers、Mandrillの各画像について、従来のHEVCモードと比較して、それぞれ平均で5.747 dB、6.693 dB、2.432 dBの予測品質向上を達成した。
• 32×32ブロックにおいて、RIPはHEVC風予測子に対して強い定量的優位性を示したが、参照ピクセルと予測ピクセルの次元ギャップが大きいため、主観評価ではノイズの増加が見られた。
• エラー報告なし、かつ他のすべてのブロックが予測される最悪ケースの内挿符号化状況下でも、RIPは安定的かつ低複雑度の再構築を実現し、効率的な残差符号化を可能にした。
• 内挿符号化におけるレート・ディストーション最適化の必要性を低減し、シリアルでエラー報告なしの再構築パイプラインを実現した。
• 最終予測ステップは、事前に学習された回帰行列を用いるため、ブロック1つあたり1回の行列積で十分であり、計算が非常に効率的である。
• 本手法は動画符号化へも拡張可能である。なぜなら、コアとなる内挿予測メカニズムは時空間予測に依存せず、空間相関性にのみ依存しているからである。