[論文レビュー] Deep Video Deblurring

Shuochen Su, Mauricio Delbracio+4 more|arXiv (Cornell University)|Nov 25, 2016

Advanced Image Processing Techniques参考文献 50被引用数 43

ひとこと要約

この論文は、明示的な画像アライメントを必要とせず、隣接フレーム間の時間的情報を活用するエンドツーエンドのディープラーニング手法を提案している。高フレームレートカメラで撮影された実世界のデータセットを用いて、CNNがフレーム間でシャープな特徴を統合するように学習させることで、計算コストを最小限に抑えつつ、アライメントの誤差に対しても頑健で、光流やホモロジー変換によるアライメントを必要とする手法を上回る最先端の結果を達成している。

ABSTRACT

Motion blur from camera shake is a major problem in videos captured by hand-held devices. Unlike single-image deblurring, video-based approaches can take advantage of the abundant information that exists across neighboring frames. As a result the best performing methods rely on aligning nearby frames. However, aligning images is a computationally expensive and fragile procedure, and methods that aggregate information must therefore be able to identify which regions have been accurately aligned and which have not, a task which requires high level scene understanding. In this work, we introduce a deep learning solution to video deblurring, where a CNN is trained end-to-end to learn how to accumulate information across frames. To train this network, we collected a dataset of real videos recorded with a high framerate camera, which we use to generate synthetic motion blur for supervision. We show that the features learned from this dataset extend to deblurring motion blur that arises due to camera shake in a wide range of videos, and compare the quality of results to a number of other baselines.

研究の動機と目的

• 手動で撮影された動画におけるカメラジッタによるモーションブラーを解消すること。これは、一般消費者の動画撮影において広く見られる問題である。
• 脆弱で計算コストの高い画像アライメント手順に依存しない、データ駆動型の動画デブラー手法を開発すること。
• エンドツーエンドで学習させ、フレーム間での最適な特徴統合を学習するための深層ニューラルネットワークを訓練すること。
• 高フレームレート記録を用いて、現実的で高精細なトレーニングデータセットを構築し、実世界のブラーをシミュレートすること。
• さまざまなブラーの種類、例えば物体の動きや低照度条件などへの一般化能力を示すこと。

提案手法

• 本手法は、スキップ接続を備えたU-Netに類似したオートエンコーダーを用い、ぼやけた隣接フレームのスタックからシャープなフレームを再構築する。
• 実世界のデータセットは、高フレームレートで動画を記録し、合成されたモーションブラーを適用することで作成される。
• ネットワークはエンドツーエンドで訓練され、明示的なアライメントやワープステップを回避して、直接シャープな出力画素を予測する。
• 複数の構成が評価された：アライメントなし、ホモロジー変換ベースのアライメント、光流ベースのアライメント。
• トレーニング中に学習される特徴レベルのアテンションにより、誤アライメント領域からのアーティファクトを同定・抑制する能力をモデルが学ぶ。
• 予測値と真値のシャープなフレーム間の画素単位L1損失を監督信号として用いる。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、明示的な画像アライメントなしに動画のデブラーを学習できるか？また、アライメント依存手法と比較して性能はどうなるか？
• RQ2 カメラジッタによるブラーで訓練されたモデルは、物体の動きや低照度ブラーなど、他のブラー種別に対してもどの程度一般化できるか？
• RQ3 異なるアライメント戦略におけるネットワークの性能はどのように変化するか？また、完全にアライメントなしで高品質な結果を達成できるか？
• RQ4 従来のパッチベースの統合やデコンボリューションベースの手法と比較して、特徴統合のエンドツーエンド学習は優れているか？
• RQ5 ネットワークアーキテクチャとトレーニングデータの品質が、一般化性能と頑健性に与える影響は何か？

主な発見

• 提案手法は、定性的および定量的評価の両方で最先端の結果を達成しており、既存のベースラインと比較してPSNRが向上している。
• アライメントを一切行わない（dbn+noalign）状況でも、高品質なデブラー結果を生成しており、誤アライメントに対して頑健であることが示された。
• 光流ベースのアライメントが最も優れた性能を示したが、ホモロジー変換ベースのアライメントもはるかに少ない計算コストで同等の結果を達成した。
• 訓練データが主にカメラジッタブラーに偏っているにもかかわらず、屋内、低照度、物体の動きによるブラーなど、未観測のシナリオに対しても、良好な一般化性能を示した。
• 本手法は非常に効率的であり、1フレームあたり1秒未塔で結果を生成でき、1フレーム数分かかるアライメント重視の手法を上回っている。
• 学習されたフィルタの可視化から、ネットワークがエッジ、色チャンネル、ワープアーティファクトを効果的に検出していることが明らかになった。