[論文レビュー] Adversarial Video Compression Guided by Soft Edge Detection

Sung‐Soo Kim, Jin‐Soo Park+5 more|arXiv (Cornell University)|Nov 26, 2018

Advanced Image Processing Techniques参考文献 30被引用数 6

ひとこと要約

この論文は、キーフレームから低レベル特徴マップを生成するためのソフトエッジ検出器を用いたGANベースの動画圧縮フレームワークを提案している。この手法により、極めて低いビットレートでも高品質な再構成が可能となる。キーフレームとその対応するソフトエッジマップの小さな集合を用いて条件付きGANを学習することで、10 Kbps未満のビットレートにおいて、H.264 や HEVC よりも優れた知覚的品質が得られ、特に標準的なコーデックが失敗する低ビットレート領域で顕著である。

ABSTRACT

We propose a video compression framework using conditional Generative Adversarial Networks (GANs). We rely on two encoders: one that deploys a standard video codec and another which generates low-level maps via a pipeline of down-sampling, a newly devised soft edge detector, and a novel lossless compression scheme. For decoding, we use a standard video decoder as well as a neural network based one, which is trained using a conditional GAN. Recent "deep" approaches to video compression require multiple videos to pre-train generative networks to conduct interpolation. In contrast to this prior work, our scheme trains a generative decoder on pairs of a very limited number of key frames taken from a single video and corresponding low-level maps. The trained decoder produces reconstructed frames relying on a guidance of low-level maps, without any interpolation. Experiments on a diverse set of 131 videos demonstrate that our proposed GAN-based compression engine achieves much higher quality reconstructions at very low bitrates than prevailing standard codecs such as H.264 or HEVC.

研究の動機と目的

• 非常に低いビットレートにおけるH.264 や HEVC などの標準的動画コーデックの限界を解消すること。
• 動画圧縮における生成モデルの事前学習に大規模な動画データセットに依存することを減らすこと。
• 条件付きGANアーキテクチャを用いてセマンティックエッジ情報を活用することで、低ビットレートでの再構成品質を向上させること。
• ソフトエッジマップが補間を伴わずに神経的動画復元の有効なガイドとして機能するかどうかを検討すること。
• GAN圧縮動画における目的評価指標（VQA）と主観的視覚品質の間のギャップを評価すること。

提案手法

• フレームワークは2つのエンコーダーを用いる：1つはキーフレームの標準H.264圧縮用、もう1つはダウンサンプリングパイプラインを経て、新規のソフトエッジ検出器を適用し、低解像度のエッジマップを生成する。
• ソフトエッジ検出器は、バックプロパゲーションによるエンドツーエンド学習を可能にする、微分可能で連続的なエッジ表現を生成するように設計されている。
• 条件付きGANベースのデコーダーは、キーフレームとその対応するソフトエッジマップのペアを学習対象とし、知覚的な現実性を強制するためにディスクライマーを用いる。
• デコーダーは、ソフトエッジマップとキーフレーム情報から、フレーム間の補間を必要とせずに、フル解像度のフレームを再構成する。
• ソフトエッジマップのための新しい無損失圧縮方式が適用され、さらにビットレートを削減する。
• システムは、1本の動画に限定して学習され、キーフレームとして全フレームの1%のみを用いるため、大規模な動画データセットの必要性を回避している。

実験結果

リサーチクエスチョン

• RQ1 ソフトエッジマップは、極めて低いビットレートにおける神経的動画復元の効果的かつ効率的なガイドとして機能できるか？
• RQ2 1本の動画からの少数のキーフレームを用いて学習されたGANベースのデコーダーは、H.264 や HEVC よりも低ビットレート領域で優れた性能を示すか？
• RQ3 なぜ、知覚的品質が優れているにもかかわらず、客観的VQA指標（例：PSNR、SSIM）ではGAN圧縮動画がH.264 よりも低い順位になることがあるのか？
• RQ4 補間に依存する標準的なDNNベースの動画圧縮と比較して、エッジベースのガイドが再構成忠実度をどの程度向上させるか？
• RQ5 軽量で最適化されていないネットワークでさえ、極めて低いビットレートにおいて優れた知覚的品質を達成できるため、より深いアーキテクチャに改善の余地があると示唆されるか？

主な発見

• 我々のGANベースのコーデックは、10 Kbps未満のビットレートでH.264 や HEVC よりも顕著に高い知覚的動画品質を達成した。7.14 KbpsでもH.264が失敗する中で、実用的な再構成が可能であった。
• 7.5 Kbps未満のビットレートでは、我々のモデルは認識可能で詳細なフレームを生成したが、H.264は認識不能なブロックノイズアーチファクトを生成した。
• KTH および YouTube ポーズデータセットにおいて、131本の動画において、MS-SSIM、PSNR、SSIM、VMAFの全指標で我々のモデルがH.264を上回った。特に3～30 Kbpsの範囲で顕著であった。
• 優れた視覚的品質にもかかわらず、10 Kbpsを超えるビットレートでは、PSNR や SSIM といった客観的VQAスコアがH.264より低くなることが多く、客観的指標と人間の知覚の間には不一致があることを示唆している。
• 6.51 Kbpsでの我々のモデルの視覚的品質は、11.00 KbpsでのH.264を上回っており、客観的指標ではH.264が上位にランクされたにもかかわらず、これは現在のVQAモデルがGAN生成コンテンツに対して限界を示している可能性を示している。
• このフレームワークは、エッジベースのガイドが最小限の学習データ（1本の動画からの1%のフレーム）で高品質な再構成を可能にすることを示している。