[論文レビュー] Intriguing Findings of Frequency Selection for Image Deblurring

Xintian Mao, Yiming Liu+4 more|arXiv (Cornell University)|Nov 23, 2021

Advanced Image Processing Techniques参考文献 54被引用数 37

ひとこと要約

この論文は、周波数領域でReLUを適用した後に逆FFTを実施することでぼかしパターンを明らかにできることを示し、周波数領域のぼかし手掛かりとピクセル領域の特徴を統合するプラグアンドプレイのRes FFT-ReLUブロックを導入して、複数のアーキテクチャとデータセットでデブラーリング性能を向上させる。

ABSTRACT

Blur was naturally analyzed in the frequency domain, by estimating the latent sharp image and the blur kernel given a blurry image. Recent progress on image deblurring always designs end-to-end architectures and aims at learning the difference between blurry and sharp image pairs from pixel-level, which inevitably overlooks the importance of blur kernels. This paper reveals an intriguing phenomenon that simply applying ReLU operation on the frequency domain of a blur image followed by inverse Fourier transform, i.e., frequency selection, provides faithful information about the blur pattern (e.g., the blur direction and blur level, implicitly shows the kernel pattern). Based on this observation, we attempt to leverage kernel-level information for image deblurring networks by inserting Fourier transform, ReLU operation, and inverse Fourier transform to the standard ResBlock. 1x1 convolution is further added to let the network modulate flexible thresholds for frequency selection. We term our newly built block as Res FFT-ReLU Block, which takes advantages of both kernel-level and pixel-level features via learning frequency-spatial dual-domain representations. Extensive experiments are conducted to acquire a thorough analysis on the insights of the method. Moreover, after plugging the proposed block into NAFNet, we can achieve 33.85 dB in PSNR on GoPro dataset. Our method noticeably improves backbone architectures without introducing many parameters, while maintaining low computational complexity. Code is available at https://github.com/DeepMed-Lab/DeepRFT-AAAI2023.

研究の動機と目的

• ブラーカーネルや周波数領域の手掛かりだけでなく、ピクセルレベルの差異だけを重視するのではなく、デブラーリング研究を促進する。
• 周波数領域のReLUがぼかしパターンとぼかし情報をぼかし画像から明らかにできることを示す。
• 標準のResBlockにFFTベースのブロックを組み込み、カーネルレベルとピクセルレベルの特徴を統合する軽量でプラグアンドプレイ可能なブロックを提案する。
• FFT-ReLUストリームを統合することでバックボーン（例：MIMO-UNet、NAFNet）に最小限のパラメータオーバーヘッドで改善をもたらすことを示す。

提案手法

• ぼかし画像のフーリエ変換にReLUを適用し、逆変換することでぼかしパターン成分を分離できることを実証する。
• ResBlockにFFT-ReLUストリームを追加するRes FFT-ReLUブロックを提案する。これには2D実部FFT、1×1畳み込み、ReLU、逆2D実部FFTを含む。
• 周波数領域で学習可能な複素数1×1畳み込みを導入して、柔軟な周波数閾値を調整する。
• ResBlockの恒等写像をFFT-ReLUベースの経路に置換し、空間的残差ストリームと融合させる。
• FFT-ReLUストリームの位置、閾値効果、複素数対実数の畳み込みの違いを調べるアブレーションを行う。
• GoPro、HIDE、RealBlurデータセットで評価し、PSNR/SSIMの比較、パラメータ数、FLOPs、推論時間を報告する。

実験結果

リサーチクエスチョン

• RQ1 周波数領域の処理は、ぼかし画像から忠実なぼかしパターンとカーネル情報を明らかにできるか。
• RQ2 ResBlocksに周波数領域FFT-ReLUストリームを組み込むと、バックボーンアーキテクチャ全体のデブラーリング性能は向上するか。
• RQ3 周波数ストリームにおける閾値の選択と複素数畳み込みはデブラーリング結果にどう影響するか。
• RQ4 提案するRes FFT-ReLUブロックを既存のアーキテクチャ（例：MIMO-UNet、NAFNet）にプラグインした場合、実測的な利得はどの程度か。

主な発見

• FFT-ReLUの後に逆FFTを適用することで、ぼかしパターン成分を明らかにし、カーネルレベル情報の抽出を支援できる。
• ResBlocksへFFT-ReLUストリームを挿入すると、アーキテクチャ間で顕著なPSNRの向上をもたらす（例：GoProでRSNetをFFT-ReLU適用時に28.06から30.30 PSNRへ、など）。
• Res FFT-ReLUブロックはプラグアンドプレイで、GoProとHIDEデータセット上でRSNet、U-Net、MPRNet、MIMO-UNet、NAFNetなどの複数のバックボーンを改善する。
• 周波数ストリームで学習可能な複素数1×1畳み込みとFFT-ReLU経路を使用すると、実数のみや単純連結の代替案よりも柔軟性と性能が向上する。
• ResBlockの恒等写像をFFT-ReLUストリームに置換することで、周波数領域の非線性によるグローバルな文脈学習が可能となり、デブラーリング性能が向上する。
• FMIMO-UNetおよびFNAFNet系統でRes FFT-ReLUを導入したモデルは、GoPro、HIDE、RealBlurデータセットで最先端または競合的なPSNRスコアを達成している（例：FMIMO-UNet+ PSNRs: GoPro 33.52、HIDE 31.66、RealBlur-R 36.11、RealBlur-J 28.88、FNAFNet64 GoPro 33.85等）。