[論文レビュー] SREdgeNet: Edge Enhanced Single Image Super Resolution using Dense Edge Detection Network and Feature Merge Network

Kwan-Young Kim, Se Young Chun|arXiv (Cornell University)|Dec 18, 2018

Advanced Image Processing Techniques参考文献 27被引用数 12

ひとこと要約

SREdgeNetは、事前学習済みのEDSRベースの超解像バックボーンに、密なエッジ検出ネットワーク（DenseEdgeNet）と特徴融合ネットワーク（MergeNet）を統合することで、エッジ詳細を向上させる新しい単一画像超解像フレームワークを提案する。標準的なL1損失下でエッジ事前知識を用いて再構成をガイドすることで、特に×8拡大において、定量的指標を犠牲にすることなく最先端の構造的類似度（SSIM）を達成し、知覚的品質も優れている。

ABSTRACT

Deep learning based single image super-resolution (SR) methods have been rapidly evolved over the past few years and have yielded state-of-the-art performances over conventional methods. Since these methods usually minimized l1 loss between the output SR image and the ground truth image, they yielded very high peak signal-to-noise ratio (PSNR) that is inversely proportional to these losses. Unfortunately, minimizing these losses inevitably lead to blurred edges due to averaging of plausible solutions. Recently, SRGAN was proposed to avoid this average effect by minimizing perceptual losses instead of l1 loss and it yielded perceptually better SR images (or images with sharp edges) at the price of lowering PSNR. In this paper, we propose SREdgeNet, edge enhanced single image SR network, that was inspired by conventional SR theories so that average effect could be avoided not by changing the loss, but by changing the SR network property with the same l1 loss. Our SREdgeNet consists of 3 sequential deep neural network modules: the first module is any state-of-the-art SR network and we selected a variant of EDSR. The second module is any edge detection network taking the output of the first SR module as an input and we propose DenseEdgeNet for this module. Lastly, the third module is merging the outputs of the first and second modules to yield edge enhanced SR image and we propose MergeNet for this module. Qualitatively, our proposed method yielded images with sharp edges compared to other state-of-the-art SR methods. Quantitatively, our SREdgeNet yielded state-of-the-art performance in terms of structural similarity (SSIM) while maintained comparable PSNR for x8 enlargement.

研究の動機と目的

• L1/L2損失の最小化によって引き起こされる、深層学習ベースの超解像手法における固有のぼやけを解消すること。
• 知覚的損失や敵対的訓練に依存せずに、特にエッジの鋭さを向上させること。
• 特に大規模拡大（×8）において、高い定量的性能（PSNR）を維持しながら構造的類似度（SSIM）を著しく向上させること。
• 超解像、エッジ検出、特徴融合を統合した一元化されたパイプラインとしてのモジュラーなフレームワークを構築すること。

提案手法

• 本手法は3モジュールのパイプラインを採用する：(1) ピラミッドプーリングを備えた強化されたEDSR変種（EDSR*）により、マルチスケール特徴抽出を向上させる。
• 2番目のモジュール、DenseEdgeNetは、マルチコンプレックス特徴抽出と密なスキップ接続を備えた密な残差ブロックを用い、超解像出力から高品質なエッジマップを生成する。
• 3番目のモジュール、MergeNetは、残差学習とエッジスキップ接続を用いて、超解像出力とエッジマップを統合し、構造的詳細を保持・強化する。
• 最終出力と正解との間に標準的なL1損失を用いて、知覚的損失や敵対的損失を避けて、エンドツーエンドで学習する。
• DenseEdgeNetはマルチコンプレックス戦略を用いて、異なるスケールで豊富なエッジ特徴を抽出し、エッジの局所化と完全性を向上させる。
• MergeNetは、超解像ブランチおよびエッジブランチからの浅い特徴と深い特徴を統合し、テクスチャとエッジ情報の効果的な融合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 標準的なL1損失下でエッジ事前知識を効果的に超解像再構成をガイドするために利用可能か？
• RQ2 専用のエッジ検出ネットワークを統合することで、PSNRを劣化させることなく構造的類似度（SSIM）が向上するか？
• RQ3 提案手法は、最先端の手法と比較して、大規模拡大（例：×8）においてどのように性能を発揮するか？
• RQ4 超解像、エッジ検出、特徴融合を統合したモジュラーで3段階のアーキテクチャは、エンドツーエンドモデルを上回る知覚的品質を達成できるか？

主な発見

• Urban100データセットにおける×8超解像において、SREdgeNetは最高のSSIMスコア0.626を達成し、比較されたすべての手法を上回った。
• 同じデータセットにおいて、SREdgeNetは2番目に高いPSNR（27.25 dB）を記録し、最高性能を示したD-DBPNよりわずか0.7 dB低いが、SSIMでは著しく優れていた。
• BSD100データセットにおける×4拡大において、SREdgeNetはSSIM 0.791を達成し、全手法の中で3位であり、最高性能を示したモデルと0.008以内の差であった。
• 視覚的比較では、EDSRやD-DBPNと比較して、SREdgeNetは特に複雑なテクスチャや繰り返し構造において、より鋭いエッジとより良好に保持されたパターンを生成した。
• 大規模拡大（×8）において、SREdgeNetは優れた性能を示した。これは、ピixeあたりの妥当な解が多数存在するため、エッジガイドの恩恵が最も顕著に現れた。
• SREdgeNetは、速度と性能の良好なトレードオフを達成しており、図2に示すように高速な推論時間を有しており、実世界の応用において実用的である。