[論文レビュー] Cascaded Deep Video Deblurring Using Temporal Sharpness Prior

Jinshan Pan, Haoran Bai+1 more|arXiv (Cornell University)|Apr 6, 2020

Advanced Image Processing Techniques参考文献 33被引用数 6

ひとこと要約

本論文は、時間的シャープネスプライアを活用してフレーム間の特徴一貫性を向上させる、段階的深層CNNを提案する。中間潜在フレームからのオプティカルフローを同時に推定し、エンコーダデコーダネットワークを用いてそれらを復元することで、コンactなモデルでありながら最先端の性能を達成し、大規模なアーキテクチャを凌駆しながら、パラメータ数が少なく、高い効率性を維持している。

ABSTRACT

We present a simple and effective deep convolutional neural network (CNN) model for video deblurring. The proposed algorithm mainly consists of optical flow estimation from intermediate latent frames and latent frame restoration steps. It first develops a deep CNN model to estimate optical flow from intermediate latent frames and then restores the latent frames based on the estimated optical flow. To better explore the temporal information from videos, we develop a temporal sharpness prior to constrain the deep CNN model to help the latent frame restoration. We develop an effective cascaded training approach and jointly train the proposed CNN model in an end-to-end manner. We show that exploring the domain knowledge of video deblurring is able to make the deep CNN model more compact and efficient. Extensive experimental results show that the proposed algorithm performs favorably against state-of-the-art methods on the benchmark datasets as well as real-world videos.

研究の動機と目的

• 変分法に基づく手法からのドメイン固有の知識を活用する、動画デブラー用のコンパクトな深層CNNモデルの開発を目的とする。
• 隣接フレーム間のシャープなコンテンツを活用する時間的シャープネスプライアを組み込むことで、デブラー性能の向上を図る。
• オプティカルフロー推定と潜在フレーム復元の間を交互に実行する段階的最適化戦略により、エンドツーエンドのトレーニングを可能にする。
• モデルの複雑さを低減しつつ、大容量のCNNや変分法的手法を凌駕するデブラー精度を達成する。

提案手法

• 本手法は、PWC-Netに基づくモジュールを用いて、中間潜在フレームからオプティカルフローを推定し、連続するフレームをアライメントする。
• ReLU活性化関数とスキップ接続を備えたエンコーダデコーダCNNアーキテクチャを用いて、潜在フレームを復元する。
• 時間的シャープネスプライアを導入し、時間軸にわたるシャープな特徴の一貫性を強制することで、復元プロセスをガイドする。
• 各段階が3つの隣接フレームを用いて中央フレームを精緻化するように、パラメータを共有しながら段階的にエンドツーエンドで訓練する。
• ネットワークは各段階でパラメータを共有し、3つの隣接フレームを共通のアーキテクチャで処理する。
• トレーニングプロセスでは、オプティカルフロー推定モジュールとフレーム復元モジュールを統一された損失関数で同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 変分モデルに基づく手法からのドメイン知識は、動画デブラーにおける深層CNNのコンパクト性と性能を向上させることができるか？
• RQ2 フレーム間で時間的シャープネスを明示的にモデル化することは、デブラー品質とモデル効率性を向上させるか？
• RQ3 フロー推定とフレーム復元の間でフィードバックを提供する段階的トレーニングは、標準的なエンドツーエンドトレーニングよりも優れた結果をもたらすか？
• RQ4 提案手法は、最先端のCNNベースおよび変分法的手法と比較して、精度とモデルサイズの両面でどのように差をつけるか？

主な発見

• 均一に分布するブラーがかかる挑戦的なテストセットにおいて、本手法はPSNR 31.33、SSIM 0.9239を達成し、ベースラインからの劣化が最小限に抑えられている。
• モデルサイズは16.19Mパラメータであり、EDVR（23.60M）よりも小さく、より小さなベースラインと同等のサイズであるが、デブラー品質でそれを上回っている。
• オプティカルフローモジュールを削除すると性能が低下するため、フロー推定がデブラー結果を顕著に向上させていることが確認された。
• 異なるオプティカルフローネットワークを用いても一貫した性能を示しており、FlowNet 2.0を用いた場合でも同様の結果が得られた。
• 時間的シャープネスプライアは、局所的ブラーを持つ動画では結果を改善するが、すべての画素に均一にブラーが広がっている場合では限定的な向上効果にとどまる。
• 段階的トレーニングアプローチにより、効果的なエンドツーエンド最適化が可能となり、コンパクトでありながら非常に効果的なモデルが得られた。