[論文レビュー] Daala: A Perceptually-Driven Next Generation Video Codec

Thomas Daede, Nathan E. Egge+3 more|arXiv (Cornell University)|Mar 10, 2016

Video Coding and Compression Technologies参考文献 15被引用数 3

ひとこと要約

Daala は、従来のビデオコーディング技術に代わる、視覚的品質を最優先に据えた特許フリーのパーセプチュアル駆動型ビデオコーデックである。PSNR などの客観的指標に依存しない。ブロッキングやリングイングのアーチファクトを低減するため、ラップド変換、パーセプチュアルベクトル量子化（PVQ）、方向性デリングイングフィルタを採用しており、静止画では HEVC と同等の性能を発揮し、SSIM や PSNR-HVS-M といったパーセプチュアル指標でも優れた結果を示している。

ABSTRACT

The Daala project is a royalty-free video codec that attempts to compete with the best patent-encumbered codecs. Part of our strategy is to replace core tools of traditional video codecs with alternative approaches, many of them designed to take perceptual aspects into account, rather than optimizing for simple metrics like PSNR. This paper documents some of our experiences with these tools, which ones worked and which did not, and what we've learned from them. The result is a codec which compares favorably with HEVC on still images, and is on a path to do so for video as well.

研究の動機と目的

• PSNR に最適化された従来のツールに依存せず、特許制限のあるコーデック（例：HEVC や VP9）と同等の視覚的品質を実現する特許フリーのビデオコーデックの開発。
• 変換、予測、量子化といったコアコーディング部品にパーセプチュアルモデリングを統合することで、ブロッキングやリングイングといったパーセプチュアルアーチファクトを低減すること。
• 周囲のブロックサイズに依存しないようにラップド変換と OBMC 加工を見直すことで、ブロックベースのビデオコーデックにおける効率的でスケーラブルなレート・ディストーション最適化を実現すること。
• PVQ を用いてコントラストやアクティビティマスキングといったパーセプチュアルに意味のあるパrameter を明示的にモデル化することで、複雑なテクスチャーやエッジのコーディング効率を向上させること。
• 方向性デリングイングフィルタを二段階で適用することで、エッジを保持しつつリングイングアーチファクトを効果的に抑制し、高運動または方向性のあるコンテンツにおける視覚的アーチファクトを低減すること。

提案手法

• $32\times32$ のスーパーブロックに固定 8 ポイントのラッピング（1 辺あたり 4 ピクセル）を適用するラップド変換を採用。再帰的フィルタリング順序によりブロックサイズの決定を分離し、動的計画法による探索を可能にした。
• OBMC（オーバーラップドブロックモーションコンペンセーション）を新規構造で実装。実際の予測値を用いることで、パーティションサイズの選択を効率化し、インターピクチャ予測におけるブロッキングアーチファクトを低減した。
• パーセプチュアルベクトル量子化（PVQ）を導入。AC コefficient バンドのゲインと予測一致を符号化し、アクティビティマスキングやクロマ・フォーム・ランマ予測といったパーセプチュアルに適応した符号化を可能にした。
• 二段階の方向性デリングイングフィルタを採用：第一段階は、主なエッジ方向に沿った 7 タップフィルタを用い、局所的な分散差に基づくしきい値を設定。第二段階は、位置依存のしきい値を用いた 5 タップの水平／垂直フィルタで、エッジのぼやけを最小限に抑えた。
• スキップされていないスーパーブロック、および隣接ブロックもスキップされていないインターフレームのスーパーブロックにのみデリングイングフィルタを適用。これにより並列処理が可能になり、スーパーブロック間の依存関係を回避した。
• フィルタリングを顕著なリングイング成分に限定するため、しきい値関数 $\mathrm{thresh}(d,T) = \mathrm{sign}(d) \cdot \max(0, |d| - T)$ を用い、局所的画像コンテンツおよびスーパーブロック統計に基づく適応的しきい値を導入した。

実験結果

リサーチクエスチョン

• RQ1 変動ブロックサイズのビデオコーデックにおいて、NP 困難なブロックサイズ決定を回避しながら、ラップド変換をスケーラブルかつ効率的に実装する方法は何か？
• RQ2 PVQ を用いたパーセプチュアルモデリングは、従来の変換と量子化と比較して、低ビットレートのビデオコーディングにおいて視覚的品質をどの程度向上できるか？
• RQ3 方向性デリングイングフィルタは、エッジをぼやけさせず、複雑なテクスチャに新たなアーチファクトを生じさせることなく、リングイングアーチファクトを効果的に抑制できるか？
• RQ4 パーセプチュアルベクトル量子化とクロマ・フォーム・ランマ予測の組み合わせは、静止画および動画におけるコーディング効率と視覚的品質にどのような影響を与えるか？
• RQ5 ラップド変換処理における隣接ブロックサイズへの依存性を排除することで、レート・ディストーション性能と実装の複雑さにどのような影響が生じるか？

主な発見

• Daala は、x265 1.6 や libvpx-vp9 1.4.0 と比較して、PSNR-HVS-M やマルチスケール FastSSIM といったパーセプチュアル指標において優れた性能を発揮しており、特に高ビットレートで顕著である。
• 静止画においては、主観評価において HEVC や BPG や VP9 といった最先端のコーデックを上回っており、肌や髪の毛のようなテクスチャが強い領域で顕著に優位性を示した。
• 「bike」画像では、方向性内挿予測の制限により最悪の主観的評価が得られ、強い方向性エッジを処理する際の弱点が浮き彫りになった。
• 2015 年の PCS 評価で使用されたプロトタイプのデリングイングフィルタは、最終版に比べて効果が低く、フィルタの最適化が視覚的品質を著しく向上させたことが示された。
• PVQ の導入により、自動的なアクティビティマスキングが実現され、従来のコーデックで通常過剰量子化されがちな低コントラスト領域の詳細が保持された。
• 優れたパーセプチュアル性能を発揮しているものの、低ビットレートでの改善の余地は残っており、B フレームや代替参照フレームの欠如により、最新のコーデックと比較して動画コーディング効率に劣っている。