[論文レビュー] Blur More To Deblur Better: Multi-Blur2Deblur For Efficient Video Deblurring

Dongwon Park, Dong Un Kang+1 more|arXiv (Cornell University)|Dec 23, 2020

Advanced Image Processing Techniques参考文献 31被引用数 6

ひとこと要約

本稿では、マルチブラーインパルスネットワーク（MBRNN）を用いて隣接フレームから追加の長露出ブラー画像を合成することで、性能を向上させる新しい動画デブラーイングフレームワーク、Multi-Blur-to-Deblur（MB2D）を提案する。これらの合成ブラー入力と、接続型再帰的特徴マップを備えたマルチスケールデブラーイングネットワーク（MSDR）を活用することで、GoProおよびSuデータセットにおいて、パrameter数と推論時間を著しく削減した上で、最先端の性能を達成し、従来のSOTA手法に比べてPSNRで最大1.6 dB向上、推論速度で6倍速くなった。

ABSTRACT

One of the key components for video deblurring is how to exploit neighboring frames. Recent state-of-the-art methods either used aligned adjacent frames to the center frame or propagated the information on past frames to the current frame recurrently. Here we propose multi-blur-to-deblur (MB2D), a novel concept to exploit neighboring frames for efficient video deblurring. Firstly, inspired by unsharp masking, we argue that using more blurred images with long exposures as additional inputs significantly improves performance. Secondly, we propose multi-blurring recurrent neural network (MBRNN) that can synthesize more blurred images from neighboring frames, yielding substantially improved performance with existing video deblurring methods. Lastly, we propose multi-scale deblurring with connecting recurrent feature map from MBRNN (MSDR) to achieve state-of-the-art performance on the popular GoPro and Su datasets in fast and memory efficient ways.

研究の動機と目的

• ハンドヘルドデバイスに起因する運動ブラーの下で、効率的かつ高性能な動画デブラーイングを実現すること。
• 時間的アライメントや再帰的特徴伝搬に依存する従来手法の限界を克服し、計算コストの高さや性能のトレードオフを回避すること。
• 露出レベルを変化させた複数のブラー入力を用いることで、デブラーイング性能が向上するかを検証すること。これはアンシャープマスキングにインspiredされている。
• アーキテクチャの大幅な見直しを伴わずに、既存の動画デブラーイングモデルを強化できる軽量で効率的なフレームワークを開発すること。

提案手法

• 追加のブラー画像（より強いブラー）を生成する2段階フレームワークを提案：まずマルチブラーインパルスネットワーク（MBRNN）を用いてブラー画像を合成し、次にその入力を用いてデブラーイングを行う。
• 隣接フレーム間の動きブラーの増分をモデル化することで、段階的に長露出ブラー画像を合成するマルチブラーインパルス再帰ニューラルネットワーク（MBRNN）を導入。
• MBRNNから得られる再帰的特徴を複数スケールでデブラーイングネットワークに統合する、新規の接続型再帰的特徴マップ（CRFM）メカニズムを採用。
• CRFMを統合したマルチスケールデブラーイング（MSDR）により、空間的スケールごとに特徴表現を強化し、再構成品質を向上。
• MBRNNを既存の動画デブラーイングネットワークにプラグインモジュールとして統合し、オプティカルフローまたはアライメントモジュールに置き換えることで、複雑さを低減。
• 明瞭なディテールと自然なテクスチャを保持するため、知覚的損失および adversarial 損失を用いてエンドツーエンドで学習。

実験結果

リサーチクエスチョン

• RQ1 露出レベルを変化させた複数のブラー入力を用いることで、動画デブラーイング性能が向上するか？
• RQ2 アライメントを必要とせずに、再帰的ネットワークが隣接フレームから長露出ブラー画像を効果的に合成できるか？
• RQ3 マルチブラーインパルスネットワークから得た再帰的特徴をデブラーイングネットワークに接続することで、性能と効率が向上するか？
• RQ4 提案されたMB2Dフレームワークは、パrameter数を減らし、推論速度を向上させながら、従来の手法を上回るSOTA性能を達成できるか？

主な発見

• GoProテストセットでは、提案手法MB2DはPSNR 32.16 dB、SSIM 0.953を達成し、以前のSOTA手法（Pan [15]）をPSNRで0.49 dB上回った。
• Suデータセットでは、PSNR 32.34 dB、SSIM 0.947を達成し、Pan [15]をPSNRで0.21 dB上回り、計算時間も著しく短縮された。
• Pan [15]と比較して、ネットワークパrameter数を67.5%（5.42M vs. 16.19M）削減し、推論時間を6.4倍高速化しながら性能を向上させた。
• 他のSOTA手法（Tao*、Zhang*、Su*、Pan*）に適用した場合、PSNRが全ケースで0.52–1.6 dB向上した。
• 定性的な結果では、高速で動く物体や人物のデブラーイングが顕著に優れており、STFAN、Kim、Panと比較してアーティファクトが少ない。
• アブレーションスタディにより、合成マルチブラー入力とCRFMが性能向上に不可欠であることが確認され、MB2Dの設計が妥当であることが裏付けられた。