[論文レビュー] MGANet: A Robust Model for Quality Enhancement of Compressed Video

Xiandong Meng, Xuan Deng+5 more|arXiv (Cornell University)|Nov 22, 2018

Advanced Image Processing Techniques参考文献 39被引用数 25

ひとこと要約

MGANetは、双方向残差畳み込みLSTM（BRCLSTM）とガイド付きアテンションエンコーダデコーダを用いて、フレーム内事前知識とフレーム間時間的情報を統合することで、圧縮歪みを低減する耐障害性の高いマルチフレーム動画品質向上ネットワークを提案する。HEVC変換ユニット（TU）分割情報から生成されるガイドマップを用いることで、ブロック境界に注目し、さまざまなビットレート条件下で視覚的品質と耐障害性を著しく向上させる。この手法は、SOTAのPSNR向上を達成している。

ABSTRACT

In video compression, most of the existing deep learning approaches concentrate on the visual quality of a single frame, while ignoring the useful priors as well as the temporal information of adjacent frames. In this paper, we propose a multi-frame guided attention network (MGANet) to enhance the quality of compressed videos. Our network is composed of a temporal encoder that discovers inter-frame relations, a guided encoder-decoder subnet that encodes and enhances the visual patterns of target frame, and a multi-supervised reconstruction component that aggregates information to predict details. We design a bidirectional residual convolutional LSTM unit to implicitly discover frames variations over time with respect to the target frame. Meanwhile, the guided map is proposed to guide our network to concentrate more on the block boundary. Our approach takes advantage of intra-frame prior information and inter-frame information to improve the quality of compressed video. Experimental results show the robustness and superior performance of the proposed method.Code is available at https://github.com/mengab/MGANet

研究の動機と目的

• 従来の単一フレームおよび2段階のマルチフレーム動画品質向上手法が明示的な動き推定に依存し、フレーム内事前知識を無視するという限界を是正すること。
• フレーム内構造的事前知識とフレーム間時間的依存関係を統合することで、圧縮動画における耐障害性と視覚的品質を向上させること。
• HEVC変換ユニット（TU）分割情報を利用した新規事前知識として、ブロック境界での強化をガイドすること。
• 明示的な動き補償なしにマルチフレーム情報を効果的に統合できる、完全畳み込み型でエンドツーエンド学習可能なネットワークの開発。
• 今後の動画品質向上分野の研究を支援するため、フレーム内およびフレーム間モード符号化におけるTU分割のトレーニングデータベースの構築。

提案手法

• 双方向残差畳み込みLSTM（BRCLSTM）を時間的エンコーダとして用い、ターゲットフレームに対するフレーム内変化を明示的な動き推定に依存せずに暗黙的にモデル化する。
• 共有重みを持つガイド付きエンコーダデコーダサブネットが、ターゲットフレームを処理する。2チャネル入力（ターゲットフレームとガイドマップ）を用いて空間的詳細を強化する。
• HEVC TU分割情報からガイドマップを生成し、ブロック境界を強調することで、ネットワークの注目を歪みが生じやすい領域に向けさせる。
• 複数の特徴レベルにわたるマルチスーパvisedリコンストラクション損失を適用し、文脈的および高周波数成分を統合してリコンストラクションを改善する。
• 構造的および視覚的忠実度を保持するため、L1損失と知覚的損失の組み合わせを用いてエンドツーエンドで学習する。
• 入力フレーム数とサイズが任意に設定可能であり、可変長動画シーケンスへの柔軟な展開を可能にする。

実験結果

リサーチクエスチョン

• RQ1 明示的な動き推定に依存せず、フレーム内およびフレーム間事前知識を活用することで、深層学習モデルが圧縮動画品質を効果的に向上させられるか。
• RQ2 HEVC変換ユニット（TU）分割情報を利用したガイドマップを導入することで、ブロック境界における歪み低減効果はどのように向上するか。
• RQ3 品質向上に最適な時間的コンテキスト（フレーム数）は何か。また、その影響は性能と計算コストにどのように現れるか。
• RQ4 BRCLSTMユニットは、早期統合やスローフュージョンなどの代替時間的統合戦略と比較して、時間的整合性を保ちつつ歪みを低減する点で優れているか。
• RQ5 提案手法は、さまざまなビットレート設定（例：AI対LD）および動画コンテンツタイプにおいて、どの程度耐障害性が向上するか。

主な発見

• AI設定下でMGANetは平均PSNR向上が1.0049 dB（F3）および1.1123 dB（F5）を達成し、MFQEやDnCNNを含むSOTA手法を上回っている。
• LD設定下でガイドマップ部が0.4041 dBの性能向上をもたらし、ブロック境界領域の強化におけるその重要性が確認された。
• AI設定下でBRCLSTMは早期統合およびスローフュージョンを0.0575 dB（F3）および0.0407 dB（F5）上回り、時間的ダイナミクスのモデル化において優位性を示した。
• 低ビットレート（QP 37）でも高い性能を維持しており、主観的評価ではARCNN、VRCNN、MFQEと比較してエッジが明瞭で、リバーブやブロックノイズが低減されている。
• 5フレーム入力（F5）あたり約18msの推論時間でリアルタイム処理が可能であり、F3では約67出力/秒を達成しており、優れた計算効率を示している。
• アブレーションスタディにより、本手法は異なる動画コンテンツタイプおよびビットレート設定において一貫したPSNRおよび主観的品質の向上を示し、耐障害性が確認された。