[論文レビュー] End-to-End Image Super-Resolution via Deep and Shallow Convolutional Networks

Yifan Wang, Lijun Wang+2 more|arXiv (Cornell University)|Jul 26, 2016

Advanced Image Processing Techniques参考文献 27被引用数 52

ひとこと要約

本稿では、特徴抽出、潜在特徴空間における解像度のアップサンプリング、マルチスケール再構成を統合的に学習するエンドツーエンドのディーブコンvolutionネットワークを提案する。特徴空間におけるバイキュービック補間を学習可能なデコンボリューションに置き換え、マルチスケール畳み込みを用いて短距離および長距離のコンテキストを統合することで、最先端のPSNR性能を達成し、単一スケールベースラインよりも最大0.20 dBの向上を実現した。

ABSTRACT

One impressive advantage of convolutional neural networks (CNNs) is their ability to automatically learn feature representation from raw pixels, eliminating the need for hand-designed procedures. However, recent methods for single image super-resolution (SR) fail to maintain this advantage. They utilize CNNs in two decoupled steps, i.e., first upsampling the low resolution (LR) image to the high resolution (HR) size with hand-designed techniques (e.g., bicubic interpolation), and then applying CNNs on the upsampled LR image to reconstruct HR results. In this paper, we seek an alternative and propose a new image SR method, which jointly learns the feature extraction, upsampling and HR reconstruction modules, yielding a completely end-to-end trainable deep CNN. As opposed to existing approaches, the proposed method conducts upsampling in the latent feature space with filters that are optimized for the task of image SR. In addition, the HR reconstruction is performed in a multi-scale manner to simultaneously incorporate both short- and long-range contextual information, ensuring more accurate restoration of HR images. To facilitate network training, a new training approach is designed, which jointly trains the proposed deep network with a relatively shallow network, leading to faster convergence and more superior performance. The proposed method is extensively evaluated on widely adopted data sets and improves the performance of state-of-the-art methods with a considerable margin. Moreover, in-depth ablation studies are conducted to verify the contribution of different network designs to image SR, providing additional insights for future research.

研究の動機と目的

• バイキュービック補間のような手作業で設計された技術を用いてアップサンプリングと特徴学習を分離する既存のディープラーニングベースの超解像手法の限界を解消すること。
• 単一のエンドツーエンドでトレーニング可能なネットワーク内で、特徴抽出、解像度の拡大、高解像度再構成を統合的に最適化できること。
• マルチスケール畳み込みを用いて、短距離および長距離のコンテキスト情報を明示的にモデル化することで、性能を向上させること。
• 深層ネットワークと浅層の補助ネットワークを同時にトレーニングすることで、学習を加速し収束性を向上させること。
• 包括的なアブレーションスタディを通じて、アーキテクチャの各構成要素の寄与度についての実証的洞察を提供すること。

提案手法

• 本手法は、事前アップサンプリングを行わず、低解像度（LR）画像を直接処理する深層畳み込みネットワークを採用し、エンドツーエンドで特徴表現を学習する。
• 潜在空間における深層特徴のアップサンプリングに、学習可能なデコンボリューション層を用い、従来のバイキュービック補間を置き換え、タスク固有のアップサンプリングプロセスの最適化を可能にする。
• 再構成モジュールは、1×1、3×3、5×5、7×7のカーネルサイズを持つマルチスケール畳み込み層を用い、局所的詳細とグローバルコンテキストを同時に捉える。
• 浅層ネットワークが主要な画像構造を学習するのに対し、深層ネットワークが残差的な詳細に焦点を当てるという共同学習戦略を導入し、収束性と性能の両方を向上させる。
• 高解像度出力における再構成誤差を最小化する統合損失関数を用いて、全ネットワークをエンドツーエンドでトレーニングする。
• 本アーキテクチャは完全に微分可能であり、従来の手法とは異なり、逐次的最適化を避ける1つの最適化プロセスでトレーニング可能である。

実験結果

リサーチクエスチョン

• RQ1 潜在特徴空間における手作業で設計されたバイキュービックアップサンプリングを、学習可能なアップサンプリングに置き換えることで、超解像性能が向上するか？
• RQ2 マルチスケール畳み込みを用いて短距離および長距離のコンテキスト情報を統合することで、超解像における詳細回復が向上するか？
• RQ3 深層ネットワークと浅層ネットワークを共同でトレーニングすることで、単独で深層ネットワークをトレーニングするのと比較して、収束が早くなり、性能が向上するか？
• RQ4 デコンボリューション層のカーネルサイズが、アップサンプリングおよび再構成の品質にどのように影響するか？
• RQ5 各アーキテクチャ的構成要素（例：マルチスケール、エンドツーエンド学習、共同学習）が最終的な性能に果たす相対的寄与度は何か？

主な発見

• 提案手法EEDSは、アップサンプリング係数3のSet5でPSNR 33.47 dBを達成し、次善の手法（EEDS-ND）を0.25 dB上回った。
• マルチスケール再構成モジュールは、最良のシングルスケールバージョン（EEDS-SS7）に対してPSNRを0.20 dB向上させ、短距離および長距離コンテキストの統合の有効性を確認した。
• デコンボリューションカーネルサイズを7から25に増加させるとPSNRがわずかに向上し、15が性能と計算コストのトレードオフとして最適とされた。
• 浅層ネットワークを併用した共同学習は、深層ネットワークを単独でトレーニングするのと比較して、収束が速く、性能も優れた結果をもたらした。
• アブレーションスタディの結果、バイキュービック補間による事前アップサンプリングと比較して、特徴空間における学習可能なアップサンプリングがはるかに効果的であることが示され、EEDSとEEDS-NDの間で顕著な性能差が確認された。
• 本手法は、すべてのベンチマークデータセット（Set5、Set14、BSD100）で最先端の性能を達成し、従来の手法に対する一貫した優位性を示した。