[論文レビュー] Single Image Super-Resolution with Dilated Convolution based Multi-Scale Information Learning Inception Module

Wuzhen Shi, Feng Jiang+1 more|ArXiv.org|Jul 22, 2017

Advanced Image Processing Techniques参考文献 12被引用数 10

ひとこと要約

本論文では、単一スケールの低解像度画像からマルチスケール特徴を捉えるために、拡張畳み込みに基づくインセプションモジュールを提案する。このアプローチにより、単一画像超解像（SISR）の性能が向上する。これらのモジュールを深層ネットワークに段重ねにすることで、Set5データセットにおける×2アップスケーリングで、既存手法と比較して最大0.37 dBのPSNR向上を達成し、最先端の性能を実現した。

ABSTRACT

Traditional works have shown that patches in a natural image tend to redundantly recur many times inside the image, both within the same scale, as well as across different scales. Make full use of these multi-scale information can improve the image restoration performance. However, the current proposed deep learning based restoration methods do not take the multi-scale information into account. In this paper, we propose a dilated convolution based inception module to learn multi-scale information and design a deep network for single image super-resolution. Different dilated convolution learns different scale feature, then the inception module concatenates all these features to fuse multi-scale information. In order to increase the reception field of our network to catch more contextual information, we cascade multiple inception modules to constitute a deep network to conduct single image super-resolution. With the novel dilated convolution based inception module, the proposed end-to-end single image super-resolution network can take advantage of multi-scale information to improve image super-resolution performance. Experimental results show that our proposed method outperforms many state-of-the-art single image super-resolution methods.

研究の動機と目的

• 既存のディープラーニングベースのSISR手法がマルチスケール画像情報を利用できないという限界を解決すること。
• 自然画像におけるスケール間の自己相似パターンの冗長性を活用することで、画像復元性能を向上させること。
• マルチスケール入力を必要としない、新しいネットワークアーキテクチャを設計し、マルチスケール特徴を効果的に捉えること。
• 専用のインセプションモジュールを深くスタックすることで、受容 field を拡大し、文脈的理解を高めること。
• 標準ベンチマークにおいて、最先端の手法と比較して優れた超解像性能を達成すること。

提案手法

• 同一の入力特徴マップから複数のスケールの特徴を抽出するために、異なる拡張率をもつ複数の拡張畳み込みを適用する、拡張畳み込みベースのインセプションモジュールを提案する。
• パrameter数の増加や解像度の低下を伴わずに、受容 field を拡大するために拡張畳み込みを用いる。
• インセプションモジュール内で、異なる拡張率からの特徴を連結することで、マルチスケール情報の統合を行う。
• このようなインセプションモジュールを複数段重ねて深層ネットワークを構築し、全体の受容 field を拡大するとともに、長距離依存性をモデル化する。
• General-100データセットを用いて、Adam最適化法と学習率スケジューリング、およびデータオーグメンテーション（回転/反転）を適用して、エンドツーエンドのネットワークを学習する。
• MatConvNetを用いてモデルを実装し、安定した学習を実現するためにHe重み初期化とバッチ正則化を導入する。

実験結果

リサーチクエスチョン

• RQ1 拡張畳み込みは、SISRにおける単一スケール入力画像からマルチスケール特徴を効果的に捉えることができるか？
• RQ2 深層畳み込みニューラルネットワークアーキテクチャにマルチスケール特徴学習を統合することで、標準的手法と比較して超解像性能が向上するか？
• RQ3 本手法で提案するインセプションモジュールは、元のGoogLeNetインセプションモジュールと比較して、マルチスケール表現能力に優れているか？
• RQ4 複数のインセプションモジュールをスタックすることで、ネットワークの高解像度ディテール再構成能力がどの程度向上するか？
• RQ5 マルチスケール学習データを必要とせずに、標準SISRベンチマークで最先端の性能を達成できるか？

主な発見

• 提案手法MSSRNetは、Set5、Set14、BSD200の各データセットにおいて、すべてのアップスケーリング係数（×2、×3、×4）で、比較された最先端手法を上回った。
• Set5データセットにおいて、×4アップスケーリングでは平均PSNRが31.13 dB、SSIMが0.8596を達成し、FSRCNNを0.25 dB上回った。
• ×2アップスケーリングでは、FSRCNNに対して0.33 dB、バイキュービック補間に対して2.33 dBのPSNR向上を達成した。
• ネットワークの深さ（m=10、m=15）と幅（n=16、n=32）を増加させることで、PSNRとSSIMがさらなる向上を示し、アーキテクチャのスケーラビリティを確認した。
• アブレーションスタディの結果、拡張畳み込みベースのインセプションモジュールがマルチスケール特徴を効果的に捉えており、性能向上に顕著な寄与をしていることが確認された。
• 定性的な結果では、ベースライン手法と比較して、特に高周波数領域でよりシャープなテクスチャと、より少ないアーチファクトを示した。