[論文レビュー] OpenDVC: An Open Source Implementation of the DVC Video Compression Method

Ren Yang, Luc Van Gool+1 more|arXiv (Cornell University)|Jun 29, 2020

Video Coding and Compression Technologies参考文献 12被引用数 15

ひとこと要約

OpenDVC は、TensorFlow に基づくオープンソース実装として、Deep Video Compression (DVC) 法を提供し、PSNR 最適化型と MS-SSIM 最適化型の両方のモデルを備えています。元の DVC に比べ、MS-SSIM 最適化型のベースラインを可能にするとともに、因子化エントロピー・モデルを導入することで解像度制限を軽減し、x265 と同等の性能を達成するとともに、MS-SSIM において優れた結果を示しています。

ABSTRACT

We introduce an open source Tensorflow implementation of the Deep Video Compression (DVC) method in this technical report. DVC is the first end-to-end optimized learned video compression method, achieving better MS-SSIM performance than the Low-Delay P (LDP) very fast setting of x265 and comparable PSNR performance with x265 (LDP very fast). At the time of writing this report, several learned video compression methods are superior to DVC, but currently none of them provides open source codes. We hope that our OpenDVC codes are able to provide a useful model for further development, and facilitate future researches on learned video compression. Different from the original DVC, which is only optimized for PSNR, we release not only the PSNR-optimized re-implementation, denoted by OpenDVC (PSNR), but also the MS-SSIM-optimized model OpenDVC (MS-SSIM). Our OpenDVC (MS-SSIM) model provides a more convincing baseline for MS-SSIM optimized methods, which can only compare with the PSNR optimized DVC in the past. The OpenDVC source codes and pre-trained models are publicly released at https://github.com/RenYang-home/OpenDVC.

研究の動機と目的

• 学習済み動画圧縮分野におけるさらなる研究を支援するため、DVC 動画圧縮手法のオープンソースで再現可能な実装を提供すること。
• 最先端の学習済み動画圧縮手法の公開コードの不足により、比較研究が制限されていた問題を解決すること。
• PSNR 最適化型と MS-SSIM 最適化型の両方のモデルをリリースし、MS-SSIM に焦点を当てたアプローチの公平なベンチマークを可能にすること。
• ハイパープライア・エントロピー・モデルを因子化エントロピー・モデルに置き換えることで、入力解像度の制限を 32 の倍数から 16 の倍数に軽減し、低解像度入力との互換性を向上させること。
• 事前学習済みモデルを備えた、ドキュメント化が十分で再利用可能なコードベースを提供することで、今後の開発を促進すること。

提案手法

• DVC フレームワークを採用し、連続フレーム間の動き推定にピラミッドネットワークを用い、5段階のアーキテクチャと 7×7 カーネルを採用。
• GDN および逆 GDN 活性化関数を用いた学習済みオートエンコーダを採用し、動きベクトルの圧縮を実現。3×3 畳み込みと各層あたり 128 フィルタを用いる。
• 元のハイパープライア・エントロピー・モデルを因子化エントロピー・モデルに置き換え、入力解像度の制限を 32 の倍数から 16 の倍数に低減。
• 3×3 畳み込みとスキップ接続を用いた動き補償ネットワークを採用し、動き補償された参照フレームを生成。
• 残差の圧縮に同様のオートエンコーダを用い、5×5 カーネルを採用することで、高ビットレートの残差データに対する表現能力を向上。
• 段階的パイプラインでモデルを学習：まず動き推定、次に動き圧縮、その後動き補償、最後に重み付き率-歪み損失を用いたエンドツーエンドの共同学習。

実験結果

リサーチクエスチョン

• RQ1 DVC のオープンソース実装は、学習済み動画圧縮分野における研究のアクセス性と再現可能性を向上させることができるか？
• RQ2 ハイパープライア・エントロピー・モデルを因子化エントロピー・モデルに置き換えることで、圧縮性能と入力解像度の柔軟性にどのような影響を与えるか？
• RQ3 MS-SSIM 最適化型の DVC は、元の PSNR 最適化型 DVC よりも顕著な視覚的品質向上を達成できるか？
• RQ4 OpenDVC 実装は、PSNR および MS-SSIM において、x265 や他の標準コーデックと同等か、それ以上の性能を示すか？
• RQ5 段階的訓練スケジュールは、エンドツーエンドの動画圧縮パイプラインを効果的に最適化できるか？

主な発見

• OpenDVC (PSNR) は、元の DVC と同等の PSNR および MS-SSIM 性能を達成し、x265 (LDP very fast) 設定と同等の性能を示している。
• OpenDVC (MS-SSIM) は、MS-SSIM において元の DVC を顕著に上回り、視覚的最適化型動画圧縮手法のより適切なベースラインを提供している。
• 因子化エントロピー・モデルの導入により、入力解像度の制限が 32 の倍数から 16 の倍数に軽減され、性能の著しい低下を伴わず、より使いやすくなった。
• MS-SSIM 最適化型モデルは、1 - MS-SSIM を損失関数として用いた PSNR モデルの微調整により、より優れた視覚的品質を達成している。
• 後続で導入された RLVC アプローチは、DVC や OpenDVC を上回る率-歪み性能を示し、学習済み動画圧縮分野における最先端技術をさらに前進させている。