[論文レビュー] Edge-Aware Deep Image Deblurring

Zhichao Fu, Tianlong Ma+4 more|arXiv (Cornell University)|Jul 4, 2019

Advanced Image Processing Techniques被引用数 9

ひとこと要約

本稿では、単一画像のブラインドデブラーに向けた2段階のエッジに配慮した深層学習フレームワーク、EADNetを提案する。エッジ構造の強化により、視認品質を向上させる。エッジ検出サブネットと残差型完全畳み込みデブラー・サブネットを統合することで、GOPROおよびKohlerベンチマークで最先端の性能を達成し、エッジがより鋭くなり、アーチファクトが減少した。PSNRおよび視認品質の両面で、先行手法を上回った。

ABSTRACT

Image deblurring is a fundamental and challenging low-level vision problem. Previous vision research indicates that edge structure in natural scenes is one of the most important factors to estimate the abilities of human visual perception. In this paper, we resort to human visual demands of sharp edges and propose a two-phase edge-aware deep network to improve deep image deblurring. An edge detection convolutional subnet is designed in the first phase and a residual fully convolutional deblur subnet is then used for generating deblur results. The introduction of the edge-aware network enables our model with the specific capacity of enhancing images with sharp edges. We successfully apply our framework on standard benchmarks and promising results are achieved by our proposed deblur model.

研究の動機と目的

• 人間の視覚認識と一致しない強力な事前知識に依存する伝統的なデブラー手法の限界を解消すること。
• エッジ構造を重要な視認要因として明示的に組み込むことで、深層画像デブラーを向上させること。
• エッジ検出とデブラーを分離する2段階のネットワークを設計し、解釈可能性と性能を向上させること。
• 視認損失に起因するアーチファクトを低減しながら、復元出力のエッジの鋭さを向上させること。
• 計算効率と高品質なデブラー結果の間のバランスを図ること。

提案手法

• 2段階のアーキテクチャを提案：まず、エッジ検出サブネットがぼやけた画像から高周波エッジ情報を抽出する。
• 抽出されたエッジマップをぼやけた入力と融合し、エンドツーエンドの画像修復を実現する残差型完全畳み込みデブラー・サブネットをガイドする。
• エッジサブネットは、エッジ詳細を保持するために複数の監視ポイントを持つ軽量なサイド出力ネットワークとして実装される。
• 予測されたエッジマップと真値マップの構造的類似性を強制するために、マルチスケールエッジ損失が適用される。
• グローバルなテクスチャーやコントラストをアーチファクトの増幅なしに保持するために、初期の畳み込み層で視認損失が計算される。
• ピクセル単位の正確性と人間の視認品質の両方を最適化するため、L1損失、視認損失、エッジ損失の組み合わせでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 明示的なエッジ監視は、深層画像デブラーの視認品質を向上させ得るか？
• RQ2 エッジ情報の組み込みは、復元画像のエッジの鋭さと構造的忠実度にどのように影響するか？
• RQ3 エッジとデブラーのサブネットワークを別々に持つ2段階設計は、モデルの解釈可能性と性能をどの程度向上させるか？
• RQ4 エッジに配慮した学習は、画像修復における視認損失に起因する一般的なアーチファクトを低減できるか？
• RQ5 標準ベンチマークにおいて、PSNR、SSIM、および視覚的品質の観点から、本手法は最先端の手法と比較してどの程度優れているか？

主な発見

• GOPROベンチマークでは、EADNetがPSNR 30.78、SSIM 0.9137を達成し、エッジ監視なしのベースライン（PSNR 29.53、SSIM 0.9014）を上回った。
• Kohlerデータセットでは、エッジ情報を完全に含むモデルがPSNR 26.61、MSSIM 0.8297を達成し、エッジ情報なしのアブレーションバージョンよりも顕著に優れた性能を示した。
• EdgeNetの最初の層出力のみを用いる（Reduced EdgeNet）と、GOPROでPSNR 31.02を達成し、わずかな性能低下で非常に高い効率性を示した。
• 視覚的比較では、EADNetが、特に運動ぼかしやガウスぼかし領域において、真値に近く、より鋭く連続したエッジを持つ復元画像を生成した。
• エッジに配慮した設計により、視認アーチファクト（キャンバスのようなテクスチャ）が低減されたことが、図11のズームアップパッチで確認された。これは、視認損失を用いているにもかかわらず成立した。
• DeblurNet部は900万パラメータ未満であり、Reduced EdgeNetはたった0.04Mパラメータで、強力な計算効率性を示した。