[論文レビュー] Rethinking Coarse-to-Fine Approach in Single Image Deblurring

Sung‐Jin Cho, Seo-Won Ji+3 more|arXiv (Cornell University)|Aug 11, 2021

Advanced Image Processing Techniques参考文献 37被引用数 34

ひとこと要約

MIMO-UNetを導入する、複数入力・単一エンコーダ・多出力のU-Netで、多スケールのブラーを扱い、非対称特徴融合で高速かつ高精度な復元を実現。

ABSTRACT

Coarse-to-fine strategies have been extensively used for the architecture design of single image deblurring networks. Conventional methods typically stack sub-networks with multi-scale input images and gradually improve sharpness of images from the bottom sub-network to the top sub-network, yielding inevitably high computational costs. Toward a fast and accurate deblurring network design, we revisit the coarse-to-fine strategy and present a multi-input multi-output U-net (MIMO-UNet). The MIMO-UNet has three distinct features. First, the single encoder of the MIMO-UNet takes multi-scale input images to ease the difficulty of training. Second, the single decoder of the MIMO-UNet outputs multiple deblurred images with different scales to mimic multi-cascaded U-nets using a single U-shaped network. Last, asymmetric feature fusion is introduced to merge multi-scale features in an efficient manner. Extensive experiments on the GoPro and RealBlur datasets demonstrate that the proposed network outperforms the state-of-the-art methods in terms of both accuracy and computational complexity. Source code is available for research purposes at https://github.com/chosj95/MIMO-UNet.

研究の動機と目的

• 精度を損なうことなく粗から細へ順次処理するデブラーリングアーキテクチャにおける計算コストの削減を動機づけ、
• 
• ?

提案手法

• 三つのエンコーダブロックと三つのデコーダブロックを備えた単一U-NetであるMIMO-UNetを提案する。
• 各エンコーダブロックがブラー入力のダウンサンプリング版を取り込み、浅い畳み込みモジュール(SCM)を用いて学習特徴と融合させる、Multi-Input Single Encoder(MISE)を導入する。
• 各デコーダレベルが中間的なデブラーリング画像を生成するMulti-Output Single Decoder(MOSD)を導入し、1つのネットワーク内で粗から細への動作を可能にする。
• アテンション様の変調とクロススケール融合を用いて、レベル間で多スケールのエンコーダ特徴を融合する非対称特徴融合(AFF)を実装する。
• 複数スケールのコンテンツ損失(Lcont)と多尺度周波数再構成損失(LMSFR)を用いて、スケール間の出力を監視する。
• GoProとRealBlurデータセットで訓練し、積層サブネットベースラインと比較して精度(PSNR/SSIM)の向上と実行時間の短縮を示す。

Figure 1: Comparison between the proposed and conventional methods in terms of the PSNR and runtime. The runtime of the methods is reported as the runtime measured using the released test code of each method on our environment (filled) and the runtime provided in each paper (blank).

実験結果

リサーチクエスチョン

• RQ1 単一U-Netアーキテクチャが、マルチスケール入力と出力を持つ従来の粗から細へのネットワークを上回るか検証する？
• RQ2 AFFなどのマルチスケール特徴融合戦略とクロススケールの入力/出力は、さまざまなブラー条件下でデブラーリング性能を改善するか？
• RQ3 GoProとRealBlurデータセットにおいて、PSNR/SSIMと計算効率の点で、MIMO-UNetは最先端手法とどう比較されるか？

主な発見

• MIMO-UNetはGoProでStacked sub-network法よりも著しく低い実行時間を提供しつつ、競合的なPSNR/SSIMを達成する。
• MIMO-UNet++はGoProで評価されたモデルの中で最高のPSNRを32.68 dBで達成し、RealBlurでも報告された比較の中でトップのPSNR/SSIMを示す強力な性能を示す。
• AFFは単純な融合戦略に対して測定可能な改善を提供し、MISE・MOSD・AFFを組み合わせるとアブレーションで最大のPSNR向上を得られる。
• MSFR補助損失は基準に対して最大約0.57 dBのPSNR向上をさらにもたらし、周波数領域の監視の利点を強調する。
• ベンチマーク全体で、MIMO-UNetの variants は速度と精度のトレードオフが有利であり、MIMO-UNet++は他の既存手法よりも高いPSNRを示しつつ実行時間も速い。

Figure 2: Comparison of coarse-to-fine image deblurring network architectures: (a) DeepDeblur, (b) PSS-NSC, (c) MT-RNN, and (d) proposed MIMO-UNet.