[論文レビュー] Advances In Video Compression System Using Deep Neural Network: A Review And Case Studies

Dandan Ding, Zhan Ma+4 more|arXiv (Cornell University)|Jan 15, 2021

Advanced Data Compression Techniques被引用数 10

ひとこと要約

この論文は、動画圧縮における深層ニューラルネットワーク（DNN）ベースの進展をレビューし、前処理、符号化、後処理の3つの機能ブロックに焦点を当てる。DNNを強化したソリューション—例えば、意味的認識に基づく前処理、エンドツーエンドのニューラル動画符号化、適応フィルタ—を提案し、レート・ディストーション効率と知覚的品質の向上を示す。事例研究では、圧縮性能と圧縮済み動画の機械可読性の面で顕著な向上が確認された。

ABSTRACT

Significant advances in video compression system have been made in the past several decades to satisfy the nearly exponential growth of Internet-scale video traffic. From the application perspective, we have identified three major functional blocks including pre-processing, coding, and post-processing, that have been continuously investigated to maximize the end-user quality of experience (QoE) under a limited bit rate budget. Recently, artificial intelligence (AI) powered techniques have shown great potential to further increase the efficiency of the aforementioned functional blocks, both individually and jointly. In this article, we review extensively recent technical advances in video compression system, with an emphasis on deep neural network (DNN)-based approaches; and then present three comprehensive case studies. On pre-processing, we show a switchable texture-based video coding example that leverages DNN-based scene understanding to extract semantic areas for the improvement of subsequent video coder. On coding, we present an end-to-end neural video coding framework that takes advantage of the stacked DNNs to efficiently and compactly code input raw videos via fully data-driven learning. On post-processing, we demonstrate two neural adaptive filters to respectively facilitate the in-loop and post filtering for the enhancement of compressed frames. Finally, a companion website hosting the contents developed in this work can be accessed publicly at https://purdueviper.github.io/dnn-coding/.

研究の動機と目的

• 動画トラフィックの急増と、より高い解像度・高精度要件に伴い、効率的な動画圧縮の需要が高まっていることを踏まえ、これを解決すること。
• 深層ニューラルネットワーク（DNN）が、動画圧縮の3大機能ブロック（前処理、符号化、後処理）をどのように向上させられるかを調査すること。
• AI駆動のコンテンツ適応型圧縮により、限られたビットレート制約下でもエンドツーエンドの動画体験品質（QoE）を向上させること。
• 圧縮領域に意味的特徴を保持することで、圧縮後の下流のコンピュータビジョンタスクとの共同最適化を可能にすること。
• モデルの複雑さ、限られたデータ下での一般化性能の欠如、HVSに整合しない品質メトリクスの欠如といった、主な課題を特定し、それらに対処すること。

提案手法

• シーン理解のためのDNNを用いたスイッチ可能なテクスチャベースの動画符号化フレームワークを提案し、適応的量子化のための意味的領域を抽出する。
• スタックされたDNNを用いたエンドツーエンドのニューラル動画符号化アーキテクチャを導入し、手動で設計された符号化ツールを一切用いずに、生動画のコンactなデータ駆動型表現を学習する。
• インループおよび後処理用の2つのニューラル適応フィルタを開発し、DNNを用いて圧縮アーチファクトを低減し、再構築されたフレームの品質を向上させる。
• 人間視覚系（HVS）の特性（マスキング効果や周波数選択性など）を活用して、DNNを用いてコンテンツに適応したエンコードを実現する。
• SSIM、VMAF、意味的特徴に基づく損失関数を含む、知覚的に最適化された損失関数をDNNで学習し、品質評価を向上させる。
• DNNベースの技術を動画符号化パイプラインに統合し、機械視覚タスクに有用な空間的・時間的特徴を保持することで、完全な復元を最小限に抑えた圧縮を可能にする。

実験結果

リサーチクエスチョン

• RQ1 DNNベースの前処理は、意味的コンテンツ理解を活用することで、どのように動画圧縮効率を向上させられるか？
• RQ2 エンドツーエンドのニューラル動画符号化は、従来のコーデック（例：VVC）と比較して、レート・ディストーション性能でどれほど優れているか、かつ知覚的品質を維持できるか？
• RQ3 DNN駆動の適応フィルタが、後処理およびインループ段階で、圧縮アーチファクトを効果的に低減し、再構築された動画品質を向上させられるか？
• RQ4 DNNベースの動画圧縮は、どのようにして圧縮領域で人間の知覚と機械知能タスクの両方を最適化できるか？
• RQ5 DNNベースの動画圧縮を実装するにあたり、主な課題は何か。また、モデル設計およびハードウェアアクセラレーションにより、それらをどのように軽減できるか？

主な発見

• シーン理解を活用したDNNベースの前処理により、コンテンツに適応したエンコードが可能となり、知覚的に重要な領域に高いビットレートを割り当てることで品質が向上する。
• スタックされたDNNを用いたエンドツーエンドのニューラル動画符号化は、VVCなどの従来のコーデックと比較して、競争的または優れたレート・ディストーション性能を達成しており、完全にデータ駆動型の特徴学習が可能である。
• 後処理およびインループ段階でのニューラル適応フィルタは、ブロックノイズやリッジングアーチファクトを顕著に低減し、主観的および客観的な動画品質メトリクスを向上させる。
• DNNベースの圧縮は、下流のコンピュータビジョンタスクに有用な意味的特徴を保持しており、完全なピxls再構築なしに分類や検索の精度を向上させられる。
• 高い計算およびメモリ要件があるものの、NPUsなどの専用ハードウェアにより、モバイルおよびエッジデバイス上でのDNNベースの動画コーデックのスケーラブルな展開が可能である。
• HVSに配慮した微分可能な品質メトリクス（例：VMAF）をDNN学習に統合することで知覚的品質が向上するが、統一的かつHVSに適合したメトリクスの開発は未解決の課題のままである。