[論文レビュー] Down-Scaling with Learned Kernels in Multi-Scale Deep Neural Networks for Non-Uniform Single Image Deblurring

Dongwon Park, Jisoo Kim+1 more|arXiv (Cornell University)|Mar 25, 2019

Advanced Image Processing Techniques参考文献 41被引用数 8

ひとこと要約

本稿では、非一様な単一画像のぼかし除去におけるマルチスケールディープニューラルネットワーク向けに、学習可能カーネルを用いたCNNベースのダウンスケーリング手法を提案する。従来のバイキュービックダウンスケーリングに代えて学習可能なマルチチャネル畳み込みカーネルを採用することで、エッジなどの重要な高周波数ディテールをよりよく保持でき、最先端の性能を達成する。GoProデータセットではTaoらの手法と比較して2.59dB高いPSNRを達成し、Suデータセットでは1.15dB高いPSNRを達成した。

ABSTRACT

Multi-scale approach has been used for blind image / video deblurring problems to yield excellent performance for both conventional and recent deep-learning-based state-of-the-art methods. Bicubic down-sampling is a typical choice for multi-scale approach to reduce spatial dimension after filtering with a fixed kernel. However, this fixed kernel may be sub-optimal since it may destroy important information for reliable deblurring such as strong edges. We propose convolutional neural network (CNN)-based down-scale methods for multi-scale deep-learning-based non-uniform single image deblurring. We argue that our CNN-based down-scaling effectively reduces the spatial dimension of the original image, while learned kernels with multiple channels may well-preserve necessary details for deblurring tasks. For each scale, we adopt to use RCAN (Residual Channel Attention Networks) as a backbone network to further improve performance. Our proposed method yielded state-of-the-art performance on GoPro dataset by large margin. Our proposed method was able to achieve 2.59dB higher PSNR than the current state-of-the-art method by Tao. Our proposed CNN-based down-scaling was the key factor for this excellent performance since the performance of our network without it was decreased by 1.98dB. The same networks trained with GoPro set were also evaluated on large-scale Su dataset and our proposed method yielded 1.15dB better PSNR than the Tao's method. Qualitative comparisons on Lai dataset also confirmed the superior performance of our proposed method over other state-of-the-art methods.

研究の動機と目的

• 固定カーネルのダウンスケーリング（例：バイキュービック）がマルチスケールのぼかし除去において不十分な性能を示し、強力なエッジなどの重要なディテールを損なう問題に対処する。
• 空間的に適応的なダウンスケーリングカーネルを学習することで、解像度低減過程でのローカルな画像構造の保持を向上させ、ぼかし除去性能を向上させる。
• 元スケール入力に対する別個のぼかし除去ネットワークを廃止することで、推論の効率化を図り、計算コストの増加を抑える。
• 大規模ベンチマーク（GoPro、Su）で最先端の結果を達成するとともに、Laiを含む多様なデータセットでも優れた視覚的品質を維持する。
• トレーニングデータの分布が一般化性能に与える影響を調査し、特にGoProとKöhlerの間で性能に不一致が生じる要因を特定する。

提案手法

• マルチスケールネットワークにおける固定カーネルダウンスケーリング（例：バイキュービック）に代わって、トレーニング可能なマルチチャネル畳み込みカーネルを備えた新規なCNNベースのダウンスケーリングモジュールを提案する。
• 各スケールでダウンサンプリングされた特徴マップを処理する残差ネットワークを用いたマルチスケールアーキテクチャに、学習可能なダウンスケーリングモジュールを統合する。
• 各スケールのバックボーンネットワークとしてRCAN（Residual Channel Attention Networks）を採用し、特徴表現の強化とチャネルワイズアテンションの活用を図る。
• 限られたハードウェアリソースでの計算負荷を管理するため、エンドツーエンドトレーニングではなく、部分最適なモジュラトレーニング戦略を採用する。
• 各スケールで元スケール入力専用のネットワークを設けず、ダウンサンプリングされた特徴のみを処理するようにネットワークを設計し、複雑さを低減する。
• 残差ブロック間の特徴の整合性を保ち、勾配の流れを改善するためにスカイプ接続（RIRスカイプ接続）を採用する。

実験結果

リサーチクエスチョン

• RQ1 学習可能ダウンスケーリングカーネルは、非一様なぼかし除去に不可欠な高周波数ディテールを固定カーネル手法（例：バイキュービック）よりも効果的に保持できるか？
• RQ2 バイキュービックダウンスケーリングをCNNベースで学習可能なダウンスケーリングモジュールに置き換えることで、標準ベンチマークにおけるPSNRおよびSSIMに顕著な向上が見られるか？
• RQ3 元スケール専用ネットワークを設けないことで性能に与える影響はどの程度で、それが改善されたダウンスケーリングおよびバックボーン設計によって補われうるか？
• RQ4 本手法の性能は、ぼかし特性や画像統計が異なる多様なデータセットに一般化して成立するか？
• RQ5 アブレーションスタディにより、個々の構成要素（例：バックボーン、スカイプ接続、学習可能ダウンスケーリング）が全体の性能に果たす寄与度はどの程度か？

主な発見

• 本手法はGoProデータセットにおいてTaoらの最先端手法と比較して2.59dB高いPSNRを達成し、顕著な性能の飛躍を示した。
• SuデータセットではTaoの手法と比較して1.15dB高いPSNRを達成し、GoProの分布を超えた強力な一般化性能を確認した。
• アブレーションスタディの結果、学習可能ダウンスケーリングモジュールを削除するとPSNRが1.98dB低下したことが判明し、その重要性を裏付けた。
• Laiデータセットにおける定性的な結果では、先行手法と比較してナンバープレート、テキスト、移動物体などの微細ディテールの回復が顕著に優れていた。
• 分解スタディにより、RCANバックボーンとRIRスカイプ接続の両方が性能向上に有意に寄与しており、それぞれを削除すると性能が低下することが確認された。
• GoProで学習したモデルをSuデータセットでファインチューニングすることで、Köhlerデータセットでの性能が27.26dBまで向上した。これはトレーニングデータの整合性の重要性を示している。