[論文レビュー] Difficulty-aware Image Super Resolution via Deep Adaptive Dual-Network

Jinghui Qin, Ziwei Xie+2 more|arXiv (Cornell University)|Apr 11, 2019

Advanced Image Processing Techniques参考文献 18被引用数 4

ひとこと要約

本論文では、平滑領域とテクスチャ豊かな領域を別々に処理する2つの専用ブランチ（平滑ブランチ（PB）と複雑ブランチ（CB））を備えた深層適応二重ネットワークフレームワークを用いて、画像の難易度に応じたスーパーレゾリューション手法を提案する。PSNRに基づく難易度認識ネットワークにより、適応的な領域マスクを生成することで、標準ベンチマークにおいて最先端の性能を達成し、Urban100で×2スケーリングにおいて、従来手法よりも最大0.50 dBのPSNR向上を達成した。

ABSTRACT

Recently, deep learning based single image super-resolution(SR) approaches have achieved great development. The state-of-the-art SR methods usually adopt a feed-forward pipeline to establish a non-linear mapping between low-res(LR) and high-res(HR) images. However, due to treating all image regions equally without considering the difficulty diversity, these approaches meet an upper bound for optimization. To address this issue, we propose a novel SR approach that discriminately processes each image region within an image by its difficulty. Specifically, we propose a dual-way SR network that one way is trained to focus on easy image regions and another is trained to handle hard image regions. To identify whether a region is easy or hard, we propose a novel image difficulty recognition network based on PSNR prior. Our SR approach that uses the region mask to adaptively enforce the dual-way SR network yields superior results. Extensive experiments on several standard benchmarks (e.g., Set5, Set14, BSD100, and Urban100) show that our approach achieves state-of-the-art performance.

研究の動機と目的

• すべての画像領域を均一に扱う従来の単一モデルスーパーレゾリューションネットワークの限界に対処する。これは、再構築の難易度が画像領域によって異なるにもかかわらずである。
• 画像領域の内在的なスーパーレゾリューション難易度に基づいて、領域を識別・分類し、最適な処理を可能にする。
• 1つのブランチが簡単（平滑）領域に特化し、もう1つのブランチが難しい（複雑）領域に特化する二分岐ネットワークアーキテクチャを設計する。
• 学習済みマスクを用いて領域を最も適したブランチに適応的にルーティングすることで、全体のスーパーレゾリューション性能を向上させる。
• 領域レベルでの難易度に配慮した処理が、統一モデルに比べて優れた修復品質をもたらすことを実証する。

提案手法

• バイキュービック補間からのPSNRの事前知識を用いて、画像パッチを簡単または難しいものに分類するための難易度識別モジュール（DIM）を導入する。
• 二重方向SRネットワークにおいて、別々に訓練された平滑ブランチ（PB）と複雑ブランチ（CB）を採用する：PBは滑らかな/簡単な領域に最適化され、CBはテクスチャ豊かな/難しい領域に最適化される。
• 空間的マスクを生成するマスクジェネレータを用い、各画像パッチをその難易度に応じて最も適切なブランチに割り当てる。
• 推論時に適応的マスクを適用し、各領域を対応するブランチにルーティングすることで、選択的かつ最適な処理を実現する。
• 再構築損失と知覚的損失を組み合わせた損失関数を用いて、全体のフレームワークをエンドツーエンドで訓練する。
• バイキュービック補間による低解像度パッチとその高解像度対応物との間のPSNR値を、難易度の代理指標として用いることで、弱教師付きの難易度推定を可能にする。

Fig. 1 : Qualitative comparison with EDSR and SRCNN. EDSR reconstructs more clearly on the complex/hard region than SRCNN, but it reconstructs worse on the smooth/plain region than SRCNN. This reveals that it is suboptimal to incorporate a single model to process all regions.

実験結果

リサーチクエスチョン

• RQ1 画像スーパーレゾリューションを難易度に配慮した領域固有のタスクとしてモデル化することで、均一な処理を越えて再構築品質を向上させることができるか？
• RQ2 PSNRに基づく事前知識は、スーパーレゾリューションにおける難しい領域と簡単な領域を識別するのにどの程度有効か？
• RQ3 各ブランチが1つの難易度クラスに特化する二分岐ネットワークアーキテクチャは、単一の統合モデルを上回る性能を発揮するか？
• RQ4 専用ブランチに画像領域を適応的にルーティングすることで、標準ベンチマークにおけるPSNRおよびSSIMスコアが向上するか？
• RQ5 PBとCBを別々に訓練することで、難易度の混合した多様な画像データセット全体での性能にどのような影響を与えるか？

主な発見

• 提案手法は最先端のPSNR性能を達成し、Urban100で×2スケーリングにおいて、従来手法よりも最大0.50 dBの向上を達成した。
• Set14では、×2スケーリングにおいてベースラインのEDSRより0.46 dBのPSNR向上を達成し、一貫した改善が確認された。
• 二分岐適応アプローチ（PB + CB）は、個々のブランチを上回り、Urban100で×4スケーリングにおいて、MemNetよりそれぞれ0.30 dBおよび0.36 dBのPSNR向上を達成した。
• 難しい画像パッチでは、複雑ブランチ（CB）が平滑ブランチ（PB）よりも顕著に高いPSNR（例：×2で33.06 dB）を達成しており、その特化が裏付けられた。
• 簡単な画像パッチでは、平滑ブランチ（PB）が優れた結果（例：×2で53.95 dB）を達成しており、滑らかな領域における強みが示された。
• 難易度モジュールに起因する追加の計算コストにもかかわらず、IDN や LapSRN などの最先端手法と比較して、推論速度およびパラメータ効率においても競争力のある性能を維持した。

Fig. 2 : Overview of our dual-way SR framework. Our framework consists of three key components: difficulty identifier module(DIM), mask generator and a dual-way SR network. Our dual-way SR network consists of two branches: a complex branch(CB) and a plain branch(PB). The CB is used to restore comple