[論文レビュー] Deep Learned Frame Prediction for Video Compression

Serkan Sulun|arXiv (Cornell University)|Jan 1, 2018

Advanced Image Processing Techniques参考文献 26被引用数 3

ひとこと要約

本稿では、平均二乗誤差（MSE）と adversarial loss を用いて訓練することで、予測精度と視覚的リアリズムを向上させる DNN に基づく動画圧縮用フレーム予測手法を提案する。結果から、MSE 訓練は動画圧縮におけるレート・ディストーション性能で adversarial 訓練を上回るが、adversarial 訓練は単独の予測においてよりシャープで現実的であるフレームを生成する。

ABSTRACT

Motion compensation is one of the most essential methods for any video compression algorithm. Video frame prediction is a task analogous to motion compensation. In recent years, the task of frame prediction is undertaken by deep neural networks (DNNs). In this thesis we create a DNN to perform learned frame prediction and additionally implement a codec that contains our DNN. We train our network using two methods for two different goals. Firstly we train our network based on mean square error (MSE) only, aiming to obtain highest PSNR values at frame prediction and video compression. Secondly we use adversarial training to produce visually more realistic frame predictions. For frame prediction, we compare our method with the baseline methods of frame difference and 16x16 block motion compensation. For video compression we further include x264 video codec in the comparison. We show that in frame prediction, adversarial training produces frames that look sharper and more realistic, compared MSE based training, but in video compression it consistently performs worse. This proves that even though adversarial training is useful for generating video frames that are more pleasing to the human eye, they should not be employed for video compression. Moreover, our network trained with MSE produces accurate frame predictions, and in quantitative results, for both tasks, it produces comparable results in all videos and outperforms other methods on average. More specifically, learned frame prediction outperforms other methods in terms of rate-distortion performance in case of high motion video, while the rate-distortion performance of our method is competitive with that of x264 in low motion video.

研究の動機と目的

• 従来のモーション補償に比べて向上する動画圧縮用の深層学習ベースのフレーム予測モデルの開発。
• 平均二乗誤差（MSE）と adversarial 訓練のフレーム予測品質および動画圧縮効率に与える影響の評価。
• 学習済みフレーム予測ネットワークを完全な動画コーデックに統合し、x264 やベースライン手法と比較。
• 視覚的に優れた adversarial 予測が実際の動画圧縮に有益であるかどうかの特定。
• 高運動および低運動の動画シーケンスにおけるレート・ディストーション性能の分析。

提案手法

• 将来のフレームを過去のフレームから予測するための、スキップ接続を備えた U-Net に類似した生成器ネットワークの設計。
• 実際のフレームと生成されたフレームを区別する PatchGAN 判別器の実装により、adversarial 訓練を可能に。
• 定量的な正確性のための MSE 損失と、知覚的リアリズムのための adversarial 損失を用いて生成器を訓練。
• 訓練済みのフレーム予測ネットワークを、予測残差を符号化する動画圧縮コーデックに統合。
• 公平な比較のため、階層的および逐次的符号化構造を備えた x264 をベースラインコーデックとして使用。
• PSNR や Bjontegaard delta PSNR を含む、標準的なレート・ディストーション評価指標の適用。

実験結果

リサーチクエスチョン

• RQ1 adversarial 訓練は、MSE 僅かの訓練に比べて、予測された動画フレームの知覚的品質を向上させるか？
• RQ2 提案された学習済みフレーム予測手法は、フレーム差分やブロックベースのモーション補償といった従来手法と比較して、PSNR および視覚的品質の点でどのように異なるか？
• RQ3 提案されたコーデックのレート・ディストーション性能は、高運動および低運動の動画シーケンスにおいて x264 と比較してどうなるか？
• RQ4 adversarial 訓練による視覚的リアリズムの向上は、圧縮効率の向上に繋がるか？
• RQ5 深層フレーム予測は、最先端の動画コーデックと比較して、競争力あるか、あるいは優れたレート・ディストーション性能を達成できるか？

主な発見

• adversarial 訓練は、MSE 僅かの訓練に比べて、顕著にシャープで視覚的にリアリストなフレーム予測を生成する。
• 優れた視覚的品質にもかかわらず、adversarial 訓練は MSE 訓練と比較して、動画圧縮において一貫して劣るレート・ディストーション性能を示す。
• MSE で訓練されたモデルは、全テストシーケンスの平均で、ベースライン手法を上回る競争力のあるレート・ディストーション性能を達成する。
• 高運動の動画では、提案された学習済みフレーム予測手法が、他の学習済みおよび従来手法よりも優れたレート・ディストーション性能を達成する。
• 低運動の動画では、提案手法が x264 と同等のレート・ディストーション性能を達成し、既存のコーデックと強い競争力を示す。
• 本研究では、adversarial 訓練による知覚的品質の向上が圧縮効率の向上に繋がらないことが確認され、動画圧縮には不適切であると結論づけた。