[論文レビュー] Clean Images are Hard to Reblur: Exploiting the Ill-Posed Inverse Task for Dynamic Scene Deblurring

Seungjun Nah, Sanghyun Son+2 more|arXiv (Cornell University)|Apr 26, 2021

Advanced Image Processing Techniques被引用数 8

ひとこと要約

本稿では、ぼかしの逆問題である再ぼかしを活用して、画像のぼやけ具合を直接的に対象とする、動的シーンのぼかし除去のための新規な再ぼかし損失を提案する。deblurringネットワークと再ぼかしモジュールを併せて訓練することで、教師ありおよび自己教師ありの損失を用いて、知覚的なシャープネスを向上させ、GOPROおよびREDSベンチマークで最先端の結果を達成し、LPIPSおよびNIQEスコアで顕著な向上を示した。

ABSTRACT

The goal of dynamic scene deblurring is to remove the motion blur in a given image. Typical learning-based approaches implement their solutions by minimizing the L1 or L2 distance between the output and the reference sharp image. Recent attempts adopt visual recognition features in training to improve the perceptual quality. However, those features are primarily designed to capture high-level contexts rather than low-level structures such as blurriness. Instead, we propose a more direct way to make images sharper by exploiting the inverse task of deblurring, namely, reblurring. Reblurring amplifies the remaining blur to rebuild the original blur, however, a well-deblurred clean image with zero-magnitude blur is hard to reblur. Thus, we design two types of reblurring loss functions for better deblurring. The supervised reblurring loss at training stage compares the amplified blur between the deblurred and the sharp images. The self-supervised reblurring loss at inference stage inspects if there noticeable blur remains in the deblurred. Our experimental results on large-scale benchmarks and real images demonstrate the effectiveness of the reblurring losses in improving the perceptual quality of the deblurred images in terms of NIQE and LPIPS scores as well as visual sharpness.

研究の動機と目的

• 従来の学習ベースのぼかし除去手法が、L1、L2、または知覚的損失を用いても、知覚的にシャープな画像を生成する点に限界があることに対処すること。
• 綺麗な画像は本質的に再ぼかしが困難であることに着目し、再ぼかしが残りぼやけの感受性の高い指標であることを特定すること。
• 高レベルの意味的特徴ではなく、低レベルのぼやけ具合を直接的に対象とする新しい最適化目的（再ぼかし損失）を提案すること。
• 教師なしのテスト時適応を可能にするために、再ぼかしモジュールを用いて、教師データなしで復元出力を精緻化すること。

提案手法

• 本手法は、ぼかし除去ネットワークと、ぼかしの逆操作を実行する再ぼかしネットワークからなる二重ネットワークフレームワークを導入する。
• 教師ありの再ぼかし損失は、復元出力と教師ありのシャープな画像との間のぼかしの強調を比較し、ぼかし除去ネットワークが残りぼやけを最小化するよう促進する。
• 自己教師ありの再ぼかし損失は、復元画像が再ぼかし可能かどうかを評価することで、教師なしのテスト時適応を可能にする。
• 再ぼかしモジュールは、復元出力から元のぼやけた画像を再構成することを目的とし、その成功が残存ぼやけの有無を示す。
• 損失関数は、SRN や U-Net といった既存のアーキテクチャに統合され、再ぼかしの監視により強化される。
• テスト時適応では、再ぼかし損失を最小化するように反復的に復元画像を精緻化することで、実世界の画像におけるシャープネスが向上する。

実験結果

リサーチクエスチョン

• RQ1 再ぼかしは、復元画像における残存ぼやけの感受性の高い直接的指標として機能できるか？
• RQ2 ぼかしの逆問題（すなわち、再ぼかし）を活用することで、復元画像の知覚的品質を向上させられるか？
• RQ3 自己教師ありの再ぼかし損失は、教師なしの監視なしに効果的なテスト時適応を可能にするか？
• RQ4 従来の知覚的損失（例：VGG、敵対的損失）よりも、再ぼかし損失が視覚的シャープネスおよび低レベルの画像品質を向上させるか？
• RQ5 本手法は、合成データセットにとどまらず、実世界のぼやけた画像にも一般化可能か？

主な発見

• GOPROデータセットでは、自己教師ありの再ぼかし損失を用いた本手法が、LPIPSスコア0.1037、NIQE 4.887を達成し、ベースラインのL1損失（LPIPS: 0.1246、NIQE: 5.252）を上回った。
• テスト時適応を適用した結果、PSNRと知覚的指標のトレードオフが改善され、ベースラインおよび敵対的損失よりも高いPSNRと低いLPIPS/NIQEスコアを達成した。
• REDSデータセットでは、U-Netアーキテクチャを用いた際、再ぼかし損失を適用することでPSNR 29.47、SSIM 0.8839を達成し、L1ベースラインを上回った。
• 自己教師ありの再ぼかし損失により、Laiら（2016）の実世界画像において顕著な視覚的改善が得られ、よりシャープなテクスチャと繊細なディテールが再現された。
• 再ぼかし損失は、SRN や U-Net といった複数のアーキテクチャで一貫して知覚的品質を向上させ、一般化性と頑健性を示した。
• 定性的な結果から、再ぼかし損失を用いて復元された画像は、DeblurGAN-v2 や他の最先端手法と比較して、目に見えるほどシャープでぼやけが少ないことが明らかになった。