[論文レビュー] Deep Stacked Hierarchical Multi-patch Network for Image Deblurring

Hongguang Zhang, Yuchao Dai+2 more|arXiv (Cornell University)|Apr 6, 2019

Advanced Image Processing Techniques参考文献 29被引用数 41

ひとこと要約

本論文は、非均一なブラーをデブラーするために細部から粗部へ非重複パッチ階層を用いる Deep Multi-Patch Hierarchical Network (DMPHN) を提案し、リアルタイムの720pデブラーリングとGoProでのPSNR/SSIMの最先端を達成する。また、Stack-DMPHN, Stack-VMPHN といったスタック版を提案し、性能をさらに向上させる。

ABSTRACT

Despite deep end-to-end learning methods have shown their superiority in removing non-uniform motion blur, there still exist major challenges with the current multi-scale and scale-recurrent models: 1) Deconvolution/upsampling operations in the coarse-to-fine scheme result in expensive runtime; 2) Simply increasing the model depth with finer-scale levels cannot improve the quality of deblurring. To tackle the above problems, we present a deep hierarchical multi-patch network inspired by Spatial Pyramid Matching to deal with blurry images via a fine-to-coarse hierarchical representation. To deal with the performance saturation w.r.t. depth, we propose a stacked version of our multi-patch model. Our proposed basic multi-patch model achieves the state-of-the-art performance on the GoPro dataset while enjoying a 40x faster runtime compared to current multi-scale methods. With 30ms to process an image at 1280x720 resolution, it is the first real-time deep motion deblurring model for 720p images at 30fps. For stacked networks, significant improvements (over 1.2dB) are achieved on the GoPro dataset by increasing the network depth. Moreover, by varying the depth of the stacked model, one can adapt the performance and runtime of the same network for different application scenarios.

研究の動機と目的

• 非均一な運動ブラーを効率的でスケーラブルなデブラーで対処する動機付け。
• 空間ピラミッドマッチングに触発された細部から粗さへの処理を行う階層的マルチパッチCNNを提案する。
• 階層深度による性能飽和を、スタック型のマルチパッチネットワークを導入して克服する。

提案手法

• 非重複パッチを扱うエンコーダ-デコーダレベルを備えた階層的マルチパッチネットワーク(DMPHN)を導入する。
• 最も細かいレベルから処理を開始し、レジデュアル風の接続を介して粗いレベルへ残差を段階的に寄与させる。
• スキップ/リカレントリンクを用いず、SPMのようなパッチ集約戦略を用いて小さなフィルターで高速推論を可能にする。
• 最終出力レベル(レベル1)のみに適用されるエンドツーエンド損失で訓練し、残差学習を促す。
• DMPHNユニットのスタック化(Stack-DMPHNおよびStack-VMPHN)を検討し、実行時間の急激な増加を招かずに性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 細部から粗さへ階層的なマルチパッチアーキテクチャは、マルチスケールやスケールリカレント手法よりも効率的に非均一運動ブラー除去を改善できるか。
• RQ2 DMPHNユニットのスタック運用は、実行時間を現実的な範囲に保ちつつ有意な性能向上をもたらすか。
• RQ3 階層レベル間での重み共有は、性能とモデルサイズにどのような影響を与えるか。

主な発見

Model	PSNR	SSIM	Size (MB)	Runtime (s)
Sun et al. [25]	24.64	0.8429	54.1	12000
Nah et al. [17]	29.23	0.9162	303.6	4300
Zhang et al. [29]	29.19	0.9306	37.1	1400
Tao et al. [26]	30.10	0.9323	33.6	1600
DMPHN(1)	28.70	0.9131	7.2	5
DMPHN(1-2)	29.77	0.9286	14.5	9
DMPHN(1-1-1)	28.11	0.9041	21.7	12
DMPHN(1-2-4)	30.21	0.9345	21.7	17
DMPHN(1-4-16)	29.15	0.9217	21.7	92
DMPHN(1-2-4-8)	30.25	0.9351	29.0	30
DMPHN(1-2-4-8-16)	29.87	0.9305	36.2	101
DMPHN	30.21	0.9345	21.7	17
Stack(2)-DMPHN	30.71	0.9403	43.4	37
Stack(3)-DMPHN	31.16	0.9451	65.1	233
Stack(4)-DMPHN	31.20	0.9453	86.8	424
VMPHN	30.90	0.9419	43.4	161
Stack(2)-VMPHN	31.50	0.9483	86.8	552

• DMPHNはGoProデータセットでPSNR/SSIMの最先端を達成し、(1-2-4-8)構成が最良の結果を提供。
• DMPHNは720p画像でリアルタイムに動作（1280x720あたり約30 ms）。
• スタック版(Stack-DMPHNおよびStack-VMPHN)はGoProでベースのDMPHNより1 dB超のPSNR向上を提供。
• Stack(4)-DMPHNとStack(2)-VMPHNはさらに結果を改善し、Stack版は一部のベースラインよりも同等以上の速度を提供。
• モデルは軽量のまま（例：DMPHNエンコーダ/デコーダ約3.6 MB）で、各レベル間のアップサンプリング/デコンボリューションを回避。
• 重み共有はパラメータを削減し、PSNR/SSIMに控えめなトレードオフ。