[論文レビュー] OpenVVC: a Lightweight Software Decoder for the Versatile Video Coding Standard

Thomas Amestoy, Pierre-loup Cabarat+3 more|arXiv (Cornell University)|May 24, 2022

Video Coding and Compression Technologies被引用数 7

ひとこと要約

OpenVVC は、Versatile Video Coding (VVC) 標準用のオープンソースで軽量なソフトウェアデコーダーであり、マルチコアプロセッサ上でデータレベル並列処理（SIMD）とフレームレベル並列処理を組み合わせることで、UHD動画のリアルタイムデコードを達成している。フルHDではランダムアクセスモードで75 MB未満の極めて低いメモリ使用量を実現しており、組み込みシステムやライブデコード用途に適している。

ABSTRACT

In the recent years, users requirements for higher resolution, coupled with the apparition of new multimedia applications, have created the need for a new video coding standard. The new generation video coding standard, called Versatile Video Coding (VVC), has been developed by the Joint Video Experts Team, and offers coding capability beyond the previous generation High Efficiency Video Coding (HEVC) standard. Due to the incorporation of more advanced and complex tools, the decoding complexity of VVC standard compared to HEVC has approximately doubled. This complexity increase raises new research challenges to achieve live software decoding. In this context, we developed OpenVVC, an open-source software decoder that supports a broad range of VVC functionalities. This paper presents the OpenVVC software architecture, its parallelism strategy as well as a detailed set of experimental results. By combining extensive data level parallelism with frame level parallelism, OpenVVC achieves real-time decoding of UHD video content. Moreover, the memory required by OpenVVC is remarkably low, which presents a great advantage for its integration on embedded platforms with low memory resources. The code of the OpenVVC decoder is publicly available at https://github.com/OpenVVC/OpenVVC

研究の動機と目的

• VVC 標準におけるデコード複雑度の増大（HEVCと比較して倍増）が、組み込みプラットフォームでのリアルタイムソフトウェアデコードを制限するという課題に対処すること。
• VTM や VVdeC などの既存のオープンソースVVCデコーダーが、高いメモリ消費量と低速なデコードフレームレートを抱えるという限界を克服すること。
• リソース制約のある環境への展開を想定し、最小限のメモリフットプリントで一般プロセッサ上で効率的かつリアルタイムにUHD動画をデコード可能にする。
• All Intra、Random Access、Low-Delay P、Low-Delay B の4つの主要なJVETコーディング設定をカバーし、標準適合動画との互換性を確保すること。
• 将来的な標準の進化に対応できる柔軟でクロスプラットフォーム対応のソフトウェアソリューションを提供し、ハードウェア再構成を必要としないこと。

提案手法

• Linux、Windows、macOS、Android との互換性を確保するため、C言語でモジュラーなソフトウェアアーキテクチャを実装し、クロスプラットフォームライブラリとしてコンパイルする。
• 変換、ループ内フィルタリング、内挿予測などの計算負荷の高い段階を高速化するために、Single Instruction, Multiple Data (SIMD) 最適化を活用する。
• マルチコア x86 プロセッサ上で複数フレームを同時に処理することでフレームレベル並列処理を実装し、スループットを向上させ、リアルタイムデコードを達成する。
• バッファ管理の洗練とグローバルバッファの次元を最小限に抑えることでメモリ使用量を削減し、All Intra モードではFHDで25 MB未満、Random Access モードでは75 MB未満を達成する。
• 標準の動画プレーヤー（例：FFplay、VLC、GPAC）と統合し、AI、RA、LDP、LDB の4つの主要なJVETコーディング設定をすべてサポートする。
• 詳細な命令レベルプロファイリングによりボトルネックを同定し、特にループ内フィルターやインタープREDICTION などの高複雑度デコード段階に最適化を集中する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして軽量なソフトウェアデコーダーが、最小限のメモリ使用量でUHD VVCコンテンツのリアルタイムデコードを実現できるか？
• RQ2 一般プロセッサ上で高いデコードパフォーマンスを実現するための、データレベル並列処理とフレームレベル並列処理の組み合わせは何か？
• RQ3 SIMD最適化は、変換、ループ内フィルタリング、内挿予測といったVVCデコードの主要段階における計算負荷をどの程度低減できるか？
• RQ4 OpenVVC のメモリフットプリントは、VTM や VVdeC などの既存のVVCデコーダーと比較して、特にAll IntraおよびRandom Access設定においてどの程度優れているか？
• RQ5 VVCにおけるデコード複雑度の主な要因は何か？そして、ソフトウェアデコーダーにおいてそれらを効果的に最適化するにはどうすればよいか？

主な発見

• 高スペックなx86プロセッサ上で、Full HDでは290 fps以上、UHDでは90 fps以上のデコード速度を達成し、UHD動画のリアルタイム再生を実現した。
• All Intra設定ではFHDで25 MB未満、Random Access設定では75 MB未満のメモリ使用量を実現しており、VTM や VVdeC より顕著に低い。
• All Intraモードでは、ループ内フィルタ（ALFとDBF）が合計デコード複雑度の50%以上を占め、ALF単体でもQPに応じて29–39%を占める。
• Random Accessモードでは、インタープREDICTIONツール（MC補間、DMVR、BDOF、PROF）が合計で60%以上の複雑度を占め、MC補間単体でも24%以上を占める。
• CABAC段階はQP27では全体の13.2%の複雑度を占めるが、QP37ではビットストリームサイズの減少により6%に低下し、ビットストリーム密度に強く依存していることが示された。
• All Intra設定ではVTM や VVdeC を上回るデコード速度を達成しており、Random AccessモードではVVdeC と同等の性能を示しており、タイルレベルまたはWavefront並列処理によるさらなる改善が期待できる。