[論文レビュー] Single Image Super-Resolution via Cascaded Multi-Scale Cross Network

Yanting Hu, Xinbo Gao+3 more|arXiv (Cornell University)|Feb 24, 2018

Advanced Image Processing Techniques参考文献 37被引用数 42

ひとこと要約

tldr: 単一画像超解像のための Cascaded Multi-Scale Cross (CMSC) ネットワークを導入し、 cascaded-subnetworks と multi-scale cross modules および residual-features learning を用い、 cascaded-supervision と intermediate predictions によって再構成品質と効率を向上させる。

ABSTRACT

The deep convolutional neural networks have achieved significant improvements in accuracy and speed for single image super-resolution. However, as the depth of network grows, the information flow is weakened and the training becomes harder and harder. On the other hand, most of the models adopt a single-stream structure with which integrating complementary contextual information under different receptive fields is difficult. To improve information flow and to capture sufficient knowledge for reconstructing the high-frequency details, we propose a cascaded multi-scale cross network (CMSC) in which a sequence of subnetworks is cascaded to infer high resolution features in a coarse-to-fine manner. In each cascaded subnetwork, we stack multiple multi-scale cross (MSC) modules to fuse complementary multi-scale information in an efficient way as well as to improve information flow across the layers. Meanwhile, by introducing residual-features learning in each stage, the relative information between high-resolution and low-resolution features is fully utilized to further boost reconstruction performance. We train the proposed network with cascaded-supervision and then assemble the intermediate predictions of the cascade to achieve high quality image reconstruction. Extensive quantitative and qualitative evaluations on benchmark datasets illustrate the superiority of our proposed method over state-of-the-art super-resolution methods.

研究の動機と目的

• SR における情報フローの改善と多スケール特徴の融合を促進し、単一ストリームアーキテクチャを超える。
• 粗から細へと段階的に高解像度特徴を洗練させる cascaded network を提案する。
• 異なる受容野で文脈情報を融合するための multi-scale cross (MSC) modules を導入する。
• residual-features learning と cascaded-supervision を取り入れ、再構成精度を向上させる。
• 中間予測を組み合わせて、学習安定性を向上させた最終的な高品質な HR 画像を形成する。

提案手法

• CMSC アーキテクチャを feature extraction network、cascaded subnetworks、そして reconstruction network を備えて構築する。
• 各 cascaded subnetwork で、複数の MSC modules を積み重ねて多スケール情報を融合し、LR特徴とHR特徴の間の residual features を学習する。
• 異なるカーネルサイズを持つ2つのブランチを用いた merge-and-run ライクな scheme (MSC module) を使用して、多様な文脈情報を捉える。
• 各サブネットワーク内にアイデンティティ・スキップ接続を追加して residual HR features を推定することで residual-features learning を適用する。
• 中間サブネットワーク出力に監視を行い、最終予測を加重平均で組み立てる cascaded-supervision で訓練する。

実験結果

リサーチクエスチョン

• RQ1 cascaded, multi-scale fusion network は 従来の single-stream deep SR モデルに対して SR パフォーマンスを改善できるか？
• RQ2 MSC modules は multi-scale 情報を効果的に融合し、深い SR ネットワークの情報フローを改善するか？
• RQ3 各 cascade ステージでの residual-features learning は収束と再構成品質を向上させるか？
• RQ4 cascaded-supervision と中間予測の組み立ては、単一の最終監視より SR 結果を改善するか？

主な発見

• CMSC は最先端手法と比較して実行時間が相対的に低い水準で優れた性能を達成する（経験的結果により示される）。
• MSC modules は異なる受容野下で多尺度の文脈情報を効果的に融合し、情報フローを改善する。
• 複数段階と residual-features learning を備えた cascade 構造は、粗から細へと HR特徴を段階的に洗練させる。
• cascaded-supervision と中間予測の組み立ては SR 精度をさらに向上させる。
• 本手法は標準的な SR ベンチマークで検証され、競合法より定量的な改善を示す。