[論文レビュー] Blind Deblurring Using GANs

Manoj Kumar Lenka, Anubha Pandey+1 more|arXiv (Cornell University)|Jul 27, 2019

Advanced Image Processing Techniques参考文献 17被引用数 5

ひとこと要約

本稿では、アテンションモジュール、リプルス接続、マルチロス学習を用いてグローバルな認識を強化することで、GANベースのブラインド画像のぼかし除去を提案する。この手法は、GoProデータセット上で性能を向上させ、DeblurGANではPSNR 28.70、SSIM 0.958を達成し、自己アテンションと知覚的ロスを用いることでさらなる向上を達成した。

ABSTRACT

Deblurring is the task of restoring a blurred image to a sharp one, retrieving the information lost due to the blur. In blind deblurring we have no information regarding the blur kernel. As deblurring can be considered as an image to image translation task, deep learning based solutions, including the ones which use GAN (Generative Adversarial Network), have been proven effective for deblurring. Most of them have an encoder-decoder structure. Our objective is to try different GAN structures and improve its performance through various modifications to the existing structure for supervised deblurring. In supervised deblurring we have pairs of blurred and their corresponding sharp images, while in the unsupervised case we have a set of blurred and sharp images but their is no correspondence between them. Modifications to the structures is done to improve the global perception of the model. As blur is non-uniform in nature, for deblurring we require global information of the entire image, whereas convolution used in CNN is able to provide only local perception. Deep models can be used to improve global perception but due to large number of parameters it becomes difficult for it to converge and inference time increases, to solve this we propose the use of attention module (non-local block) which was previously used in language translation and other image to image translation tasks in deblurring. Use of residual connection also improves the performance of deblurring as features from the lower layers are added to the upper layers of the model. It has been found that classical losses like L1, L2, and perceptual loss also help in training of GANs when added together with adversarial loss. We also concatenate edge information of the image to observe its effects on deblurring. We also use feedback modules to retain long term dependencies

研究の動機と目的

• 非一様なぼかしを扱うために、画像全体の文脈的理解を必要とする、GANベースのぼかし除去モデルにおけるグローバル認識の向上。
• 畳み込みニューラルネットワーク（CNN）の局所的受容野の制限を克服するため、アテンション機構を統合して長距離依存関係をモデル化する。
• 敵対的ロスに加えてL1、L2、知覚的ロスを組み合わせることで、訓練の安定性と性能を向上させる。
• リプルス接続、エッジ情報、フィードバックモジュールがぼかし除去品質に与える影響を評価する。
• Pix2Pix、DeblurGAN、RiRなどの既存のGANアーキテクチャを、アーキテクチャの変更と損失関数の最適化により、より鋭い画像と構造的類似性を向上させる。

提案手法

• エンコーダ/デコーダブロックごとに3つごとに非局所的自己アテンションモジュールを統合し、長距離依存関係を捉え、グローバルな文脈モデリングを向上させる。
• チャネルごとのアテンションを適用して特徴マップを再キャリブレーションし、顕著なチャネルに注目することで表現学習を向上させる。
• グローバルリプルス接続を用いて、深層部においても低レベル特徴を保持し、勾配の流れと特徴の再利用を支援する。
• 敵対的ロスに加えて、VGG特徴に基づく知覚的ロス、L1、L2ロスを組み合わせることで、訓練の安定性を高め、視覚的品質を向上させる。
• GANの訓練を安定化させ、モード崩壊を防止するため、識別器にスペクトル正規化を実装する。
• 複数回のパスで繰り返し、出力を段階的に改善するフィードバックモジュールを統合し、長期的依存関係を保持する。

実験結果

リサーチクエスチョン

• RQ1 アテンション機構は、ブラインド画像のぼかし除去におけるGANのグローバル認識を顕著に向上させることができるか？
• RQ2 リプルス接続と特徴の再利用は、深層エンコーダ-デコーダアーキテクチャにおけるぼかし除去性能にどのように影響するか？
• RQ3 敵対的ロス、知覚的ロス、L1/L2ロスを組み合わせることで、収束性と出力の鋭さが向上するか？
• RQ4 エッジ情報とフィードバックモジュールは、GANベースのモデルにおけるぼかし除去品質にどのような影響を与えるか？
• RQ5 アーキテクチャの選択（例：より深いネットワーク、スキップ接続）は、ブラインドぼかし除去におけるPSNRとSSIMにどのように影響するか？

主な発見

• DeblurGANモデルは、GoProデータセットでPSNR 28.70、SSIM 0.958を達成し、ベースラインモデルを上回った。
• Pix2Pixに自己アテンションと知覚的ロスを追加したことで、PSNRは25.41から27.29に、SSIMは0.810から0.858に向上した。
• アテンションと知覚的ロスを備えたResidual-in-Residual（RiR）モデルは、高解像度1280×768画像でPSNR 23.46を達成した。
• フィードバックモジュールは性能を低下させ、PSNRは27.20、SSIMは0.827に低下した。これは、この設定では恩恵が限定的であることを示唆している。
• エッジ情報の統合は性能を劣化させ、PSNRは25.27、SSIMは0.773に低下した。これは、このタスクに対して効果的でない可能性を示している。
• スペクトル正規化とマルチロス学習は、すべてのアーキテクチャにおいて訓練の安定性と最終的なモデル性能を顕著に向上させた。