[論文レビュー] Gated Fusion Network for Joint Image Deblurring and Super-Resolution

Xinyi Zhang, Hang Dong+4 more|arXiv (Cornell University)|Jul 27, 2018

Advanced Image Processing Techniques参考文献 44被引用数 10

ひとこと要約

本稿では、可learntゲートモジュールを用いた特徴レベルでの特徴統合により、非一様な運動歪みによって損なわれた低解像度入力から高解像度でシャープな画像を生成する、Gated Fusion Network (GFN) を提案する。二重ブランチの畳み込みニューラルネットワークを採用し、画像のぼかし除去と超解像を同時に処理する。GFNは、ぼかし除去と超解像を別々のストリームに分離し、特徴レベルでの学習可能ゲートモジュールによる統合を実現することで、従来の最先端手法に比してPSNRおよび推論速度の両面で優れた性能を達成する。

ABSTRACT

Single-image super-resolution is a fundamental task for vision applications to enhance the image quality with respect to spatial resolution. If the input image contains degraded pixels, the artifacts caused by the degradation could be amplified by super-resolution methods. Image blur is a common degradation source. Images captured by moving or still cameras are inevitably affected by motion blur due to relative movements between sensors and objects. In this work, we focus on the super-resolution task with the presence of motion blur. We propose a deep gated fusion convolution neural network to generate a clear high-resolution frame from a single natural image with severe blur. By decomposing the feature extraction step into two task-independent streams, the dual-branch design can facilitate the training process by avoiding learning the mixed degradation all-in-one and thus enhance the final high-resolution prediction results. Extensive experiments demonstrate that our method generates sharper super-resolved images from low-resolution inputs with high computational efficiency.

研究の動機と目的

• 非一様な運動歪みによって劣化した低解像度入力から高解像度でシャープな画像を回復する課題に対処すること。
• 誤差の蓄積や特徴の最適でない利用という制限を抱える、逐次的または独立した超解像とぼかし除去手法の限界を克服すること。
• タスク固有の特徴抽出と適応的統合を活用することで、ぼかし除去と超解像を同時に最適化するエンドツーエンドの深層ネットワークを設計すること。
• 特に複雑なぼかしパターンを有する自然画像において、従来の統合手法と比較して視覚的品質と計算効率を向上させること。

提案手法

• ネットワークは二重ブランチアーキテクチャを採用する。一方のブランチはぼかし除去用に処理を行い、他方のブランチは超解像用に処理する。これにより、タスク固有の特徴学習が可能になる。
• 学習可能なゲートモジュールにより、強度レベルではなく特徴レベルで二つのブランチからの特徴を適応的に統合する。これにより、不完全なぼかし除去による誤差伝搬を回避できる。
• ぼかし除去ブランチには、学習の正則化と収束性の向上を目的とした専用のぼかし除去損失が組み込まれている。
• 特徴は再構成ヘッドに渡す前に統合され、最終的な高解像度出力画像が生成される。
• 詳細回復と視覚的品質の向上を目的として、知覚的損失と再構成損失の組み合わせを用いてエンドツーエンドで学習される。
• 特徴抽出パスを共有することで冗長な計算を回避し、両タスクの共同最適化を可能にしている。

実験結果

リサーチクエスチョン

• RQ1 統合された深層学習フレームワークは、非一様にぼやけた低解像度入力から高解像度でシャープな画像を効果的に回復できるか？
• RQ2 学習可能なゲートモジュールによる特徴レベル統合は、強度レベル統合や逐次処理と比較して、性能と頑健性においてどのように異なるか？
• RQ3 ぼかし除去と超解像を別々だが同期されたブランチに分離することで、モノリシックモデルと比較して学習の安定性と最終的な画像品質が向上するか？
• RQ4 ぼかし除去固有の損失とモジュールを導入することで、複雑なぼかしの下でも微細なディテールの回復能力がどの程度向上するか？
• RQ5 本稿で提案するGFNは、実世界および合成されたぼやけた画像データセットにおいて、最先端の手法と比較して効率性と正確性の両面でどのように異なるか？

主な発見

• GFNはLR-GOPROデータセットでPSNR 29.02 dB、SSIM 0.929を達成し、次に優れた手法（ED-DSRN）のPSNR 26.07 dB、SSIM 0.896を大きく上回った。
• デブラー損失と二重ブランチ設計の統合により、ベースラインのSRResNetに比べてPSNRが1.72 dB向上した。
• ゲートモジュールを用いた特徴レベル統合は、ゲートなしのベースラインと比較して0.2 dBの性能向上をもたらし、適応的統合の有効性を示した。
• GFNは1枚あたり0.05秒で推論が可能であり、単一タスクモデルと同等の推論速度を達成しており、高い計算効率を示している。
• 視覚的比較では、特に実世界のぼやけた画像において、最先端の手法と比較してよりシャープで、より多くの微細ディテールが保持・強化された画像を生成した。
• アブレーションスタディの結果、各構成要素（ぼかし除去損失、二重ブランチ設計、特徴レベル統合、ゲートモジュール）が性能向上に段階的に寄与しており、特にゲートモジュールが最も大きな寄与を示した。