[論文レビュー] Online Video Deblurring via Dynamic Temporal Blending Network

Tae Hyun Kim, Kyoung Mu Lee+2 more|arXiv (Cornell University)|Apr 11, 2017

Advanced Image Processing Techniques参考文献 38被引用数 25

ひとこと要約

本論文は、空間的に変化する運動ぼかし（カメラジタリや物体の動きによるもの）をリアルタイムに復元可能なオンライン動画のぼかし除去手法を提案する。空間時間的再帰的残差ネットワークに動的時間ブレンドを組み合わせることで、モデルサイズを増大させずに受容 field を拡大し、入力に依存する特徴量の伝搬を可能にした。この手法により、VGA解像度で24 fpsのリアルタイム性能を達成するとともに、PSNRと時間的整合性の両面で最先端のバッチ処理手法を上回り、特に強いカメラジタリや物体の動きを伴う現実世界の動画において顕著な性能向上を示した。

ABSTRACT

State-of-the-art video deblurring methods are capable of removing non-uniform blur caused by unwanted camera shake and/or object motion in dynamic scenes. However, most existing methods are based on batch processing and thus need access to all recorded frames, rendering them computationally demanding and time consuming and thus limiting their practical use. In contrast, we propose an online (sequential) video deblurring method based on a spatio-temporal recurrent network that allows for real-time performance. In particular, we introduce a novel architecture which extends the receptive field while keeping the overall size of the network small to enable fast execution. In doing so, our network is able to remove even large blur caused by strong camera shake and/or fast moving objects. Furthermore, we propose a novel network layer that enforces temporal consistency between consecutive frames by dynamic temporal blending which compares and adaptively (at test time) shares features obtained at different time steps. We show the superiority of the proposed method in an extensive experimental evaluation.

研究の動機と目的

• 全フレームへのアクセスを必要とするバッチ処理のぼかし除去手法の限界を解消すること。
• カメラジタリや物体の動きによって生じる空間的に変化する運動ぼかしを、オンライン（逐次的）処理で復元可能にする。
• 計算コストを増加させずに大規模なぼかしを扱える広い受容 field を維持する、軽量で効率的なディープラーニングアーキテクチャの開発。
• テスト時に適応的に動作する新規な動的ブレンド機構により、連続フレーム間の時間的整合性を強化する。
• 識別的動画のぼかし除去モデルの学習とベンチマークに適した大規模な高速動画データセットの公開。

提案手法

• 最後の層からの特徴量を次の時刻に再帰的にフィードバックする空間時間的再帰的残差ネットワーク（STRCNN）を提案。これにより、モデルサイズを増大させずに時間的受容 field を拡大できる。
• 連続するフレーム間の特徴表現を比較し、入力に依存する類似度に基づいて情報の共有を動的に制御する、動的時間ブレンド（DTB）層を導入。これにより時間的整合性が向上する。
• 時間軸に沿って特徴量を蓄積できる新規なネットワーク構成を採用。これにより、長距離の空間的文脈をモデル化でき、大規模な運動ぼかしの処理性能が向上する。
• 高精度なシャープフレームと、時間平均による合成ぼやけフレームのペアで構成される大規模データセットを用いて、エンドツーエンドでモデルを学習。
• 残差学習と再帰的接続を組み合わせることで、トレーニングの安定性と動画のぼかし除去における特徴表現学習の精度を向上。
• 微細なディテールを保持し、復元出力のアーチファクトを低減するため、多スケール損失関数をトレーニング段階で適用。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングベースの動画のぼかし除去手法は、事前に全フレームを入手できないオンライン（逐次的）処理環境でもリアルタイム性能を達成できるか？
• RQ2 計算コストを増大させずに、強い運動ぼかしを処理できる広い空間的受容 field を維持しつつ、リアルタイム推論に適したニューラルネットワークアーキテクチャをどのように設計できるか？
• RQ3 時間軸に沿った動的かつ入力依存の特徴量ブレンドは、時間的アーチファクトやフレイキングをどれほど低減できるか？
• RQ4 複雑なぼかしパターンを示す現実世界の動画において、本手法は最先端のバッチ処理手法と定量的・定性的にどのように比較されるか？
• RQ5 高速カメラを用いた自己教師付きデータ生成戦略により、現実世界のぼやけ動画に一般化しやすいリアルなトレーニングデータを生成できるか？

主な発見

• 提案された STRCNN+DTB モデルは、25本の現実世界動画からなるテストセットで 29.02 PSNR を達成。Su et al. [32]（光学フロー補正付きで 28.81 dB） や Kim and Lee [18]（27.42 dB） といった最先端手法を、客観的な画像品質の観点で上回った。
• 標準の NVIDIA GTX 1080 GPU 上で、VGA解像度の動画を約 24 fps で処理可能であり、リアルタイム応用に適している。一方、従来のバッチ処理手法は同程度の HD 動画処理に数万秒を要する。
• 動的時間ブレンド機構により、特に動きの境界部で顕著な時間的アーチファクトやフレイキングが著しく低減された。定性的な比較では、STRCNN 単体では車窓などに顕著な誤りが生じるが、STRCNN+DTB によりそれが是正された。
• ノイズが多く、エンコードアーチファクトを含む YouTube 動画に対しても強力な一般化性能を示し、困難な条件下でも明確なフレームを回復できた。
• アブレーションスタディにより、動的ブレンド層は入力フレーム数（3, 5, 7）に関わらず一貫して PSNR を向上させ、STRCNN 単体に比べ最大 0.35 dB の向上を示した。
• 100枚のHDフレームを処理する際、本手法は最も高速な既存バッチ手法（Su et al. [32] の NOALIGN を使用）と比較して 1000倍の高速化を達成。処理時間は約 12.5 秒（本手法）対約 21 秒（次に速い手法）であった。