[論文レビュー] Scale-recurrent Network for Deep Image Deblurring

Xin Tao, Hongyun Gao+4 more|arXiv (Cornell University)|Feb 6, 2018

Advanced Image Processing Techniques参考文献 32被引用数 20

ひとこと要約

本稿では、マルチスケール特徴量にわたる重み共有を用いてパラメータ数を削減し、学習安定性を向上させる深層画像のぼかし除去のためのスケール再帰ネットワーク（SRN-DeblurNet）を提案する。粗〜細かい段階のぼかし除去パイプラインにおいてスケール再帰構造とエンコーダ・デコーダ型ResBlock設計を組み合わせることで、GOPROデータセットで30.10 PSNR、1.6秒の推論時間という最先端の結果を達成し、品質と効率の両面で先行する学習ベース手法を上回った。

ABSTRACT

In single image deblurring, the "coarse-to-fine" scheme, i.e. gradually restoring the sharp image on different resolutions in a pyramid, is very successful in both traditional optimization-based methods and recent neural-network-based approaches. In this paper, we investigate this strategy and propose a Scale-recurrent Network (SRN-DeblurNet) for this deblurring task. Compared with the many recent learning-based approaches in [25], it has a simpler network structure, a smaller number of parameters and is easier to train. We evaluate our method on large-scale deblurring datasets with complex motion. Results show that our method can produce better quality results than state-of-the-arts, both quantitatively and qualitatively.

研究の動機と目的

• 既存のマルチスケールCNNが画像のぼかし除去において抱える課題、特に高いパラメータ数と学習不安定性を解消すること。
• スケール間での重み共有を用いることで、学習効率の向上とモデルの汎化性能の向上を図ること。
• 複雑な運動によるぼかしの復元に適した特徴量学習と受容 field の強化を実現する、より効果的なアーキテクチャの開発。
• 実世界の画像および合成されたぼやけた画像において、定量的指標と視覚的品質の両面で最先端の性能を達成すること。

提案手法

• 粗〜細かい段階のぼかし除去パイプラインにおいて、すべてのスケールレベルに同一のパラメータセットを共有するスケール再帰ネットワーク（SRN）を提案する。
• 各スケール内にエンコーダ・デコーダ型ResBlock構造を導入し、特徴表現力と受容 field を強化する。
• 隠れ状態を備えた再帰モジュールを用いて、スケール間の依存関係を暗黙的に捉え、特徴量の精錬を向上させる。
• 重み共有を用いたエンドツーエンド学習により、パラメータ数を削減し、スケール間でデータオーグメンテーションを模倣する。
• 各スケールに残差ブロック（ResBlocks）を適用することで、学習の安定化と勾配の流れの改善を図る。
• 同じネットワークを段階的に細かい解像度で繰り返し適用するマルチスケールフレームワークを設計する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、よりパラメータ効率的で安定性の高いマルチスケールCNNを画像のぼかし除去に設計できるか？
• RQ2 スケール間での重み共有は、深層ぼかし除去ネットワークの学習安定性と汎化性能の向上に寄与するか？
• RQ3 スケール間で再帰モジュールを組み込むことで、特徴量の精錬と復元品質が向上するか？
• RQ4 簡素化された軽量アーキテクチャは、複雑なマルチブランチネットワークを上回る性能を達成できるか？

主な発見

• 提案手法のSRN-DeblurNetは、GOPROテストセットで30.10 PSNRおよび0.9323 SSIMを達成し、前回のSOTA手法（Nah et al.、29.08 PSNR）を大きく上回った。
• Köhlerデータセットでは26.80 PSNRおよび0.8375 MSSIMを達成し、Nah et al.（26.48 PSNR）およびSun et al.（25.22 PSNR）を上回った。
• Nah et al.と比較して、学習時間を約4倍短縮し、推論時間も45％以上短縮しながら、パラメータ数は3分の1未満に抑えた。
• 視覚的結果では、エッジがよりシャープで、詳細が明確に復元されており、従来の手法が失敗する極端な運動ぼかしのケースでもアーチファクトが少ない。
• 微調整なしで実世界のぼやけた画像に対しても良好な一般化性能を示し、高品質な結果を生成した。
• アブレーションスタディの結果、スケール再帰構造とエンコーダ・デコーダ型ResBlocksが性能向上に不可欠であり、1スケールあたり3つのResBlocksが最適であることが確認された。