[論文レビュー] Deep Learning-Based Video Coding: A Review and A Case Study

Dong Liu, Yue Li+3 more|arXiv (Cornell University)|Apr 29, 2019

Advanced Image Processing Techniques参考文献 94被引用数 67

ひとこと要約

本論文は画像/動画符号化における深層学習アプローチをレビューし、それらを深層スキームと深層ツールに分類し、CNN ベースのインループフィルタリングと CNN-BARC を用いた DLVC プロトタイプを提示し、HEVC に対して大幅なビットレート削減を示す。

ABSTRACT

The past decade has witnessed great success of deep learning technology in many disciplines, especially in computer vision and image processing. However, deep learning-based video coding remains in its infancy. This paper reviews the representative works about using deep learning for image/video coding, which has been an actively developing research area since the year of 2015. We divide the related works into two categories: new coding schemes that are built primarily upon deep networks (deep schemes), and deep network-based coding tools (deep tools) that shall be used within traditional coding schemes or together with traditional coding tools. For deep schemes, pixel probability modeling and auto-encoder are the two approaches, that can be viewed as predictive coding scheme and transform coding scheme, respectively. For deep tools, there have been several proposed techniques using deep learning to perform intra-picture prediction, inter-picture prediction, cross-channel prediction, probability distribution prediction, transform, post- or in-loop filtering, down- and up-sampling, as well as encoding optimizations. In the hope of advocating the research of deep learning-based video coding, we present a case study of our developed prototype video codec, namely Deep Learning Video Coding (DLVC). DLVC features two deep tools that are both based on convolutional neural network (CNN), namely CNN-based in-loop filter (CNN-ILF) and CNN-based block adaptive resolution coding (CNN-BARC). Both tools help improve the compression efficiency by a significant margin. With the two deep tools as well as other non-deep coding tools, DLVC is able to achieve on average 39.6\% and 33.0\% bits saving than HEVC, under random-access and low-delay configurations, respectively. The source code of DLVC has been released for future researches.

研究の動機と目的

• 画像/動画符号化に対する深層学習の現状を 2018 年まで調査する。
• 深層スキームと深層ツールを区別し、それぞれの長所と短所を分析する。
• 実用的な Deep Learning Video Coding (DLVC) プロトタイプを実証し、利得を示す。

提案手法

• ピクセル確率モデリングとオートエンコーダーアプローチを用いた代表的な深層符号化研究をレビューする。
• 深層スキームを予測/ピクセル確率モデルまたは変換ベースのオートエンコーダとして分類し、伝統的符号化機に組み込まれる深層ツールを議論する。
• CNN ベースのツールを用いた DLVC のケーススタディを提示（CNN-ILF と CNN-BARC）し、圧縮利得を報告する。
• HEVC と比較する実験的な比較を配置ごとに提供し、潜在的な利得とトレードオフを示す。

実験結果

リサーチクエスチョン

• RQ1 画像/動画符号化に適用される主な深層学習パラダイムは何で、それぞれのアプローチと目的はどう異なるのか？
• RQ2 深層スキームと深層ツールの圧縮利得を達成する上での性能と実用性はどのように比較されるのか？
• RQ3 従来のコーデック内の CNN ベースツールは DLVC におけるレート歪み性能と複雑さにどのような影響を与えるのか？

主な発見

• 深層スキームは一部のケースで従来の画像符号化効率に匹敵するか超えることがあるが、ビデオ符号化の利得はこれまでのところ HEVC に比べて控えめである。
• 従来のコーデックに組み込まれた深層ツールはHEVCを超える圧縮性能を一部の点で示唆している。
• CNN-ILF と CNN-BARC を用いた DLVC プロトタイプは、HEVC に対して平均ビットレート削減を Random-access で 39.6%、Low-delay で 33.0% 達成。
• 論文は圧縮効率、エンコード/デコードの複雑さ、知覚品質、普遍性、ツール統合の間のトレードオフを強調している。
• DLVC のコードは将来の研究のために公開されている。