[論文レビュー] Single Image Super Resolution - When Model Adaptation Matters

Yudong Liang, Radu Timofte+3 more|arXiv (Cornell University)|Mar 31, 2017

Advanced Image Processing Techniques参考文献 27被引用数 11

ひとこと要約

本稿では、入力画像の低解像度入力から得られる内部的事前知識を用いて、単一画像超解像を向上させる深層畳み込みニューラルネットワーク（DPN）を提案する。事前学習済みモデルを入力画像内の自己相似パッチ（内部例）で微調整することにより、最先端手法よりも0.1–0.3 dBのPSNR向上を達成し、特に大規模または繰り返し構造のある画像で顕著な向上が見られ、バックプロジェクションや強化予測と組み合わせることでさらなる向上が得られる。

ABSTRACT

In the recent years impressive advances were made for single image super-resolution. Deep learning is behind a big part of this success. Deep(er) architecture design and external priors modeling are the key ingredients. The internal contents of the low resolution input image is neglected with deep modeling despite the earlier works showing the power of using such internal priors. In this paper we propose a novel deep convolutional neural network carefully designed for robustness and efficiency at both learning and testing. Moreover, we propose a couple of model adaptation strategies to the internal contents of the low resolution input image and analyze their strong points and weaknesses. By trading runtime and using internal priors we achieve 0.1 up to 0.3dB PSNR improvements over best reported results on standard datasets. Our adaptation especially favors images with repetitive structures or under large resolutions. Moreover, it can be combined with other simple techniques, such as back-projection or enhanced prediction, for further improvements.

研究の動機と目的

• 既存の深層学習手法が内部画像構造を無視するという限界を、入力画像内の自己相似性を活用することで是正する。
• 低解像度入力画像の特定コンテンツに事前学習済み深層ネットワークを適応させることで、モデルのロバスト性と性能を向上させる。
• 入力画像から抽出した自己相似パッチ（内部事前知識）が、超解像結果の向上に寄与するかを検証する。
• 内部例を用いたモデル適応が、特に大規模または高頻度の繰り返し構造を持つ画像において顕著に効果的であることを示す。
• バックプロジェクションや強化予測といった既存技術と、内部事前知識の相乗効果が得られるかを検討する。

提案手法

• 負の特徴を保持し、消失／爆発勾配を緩和するためのプロジェクションスキップ接続を備えた、新規の深層畳み込みニューラルネットワーク（DPN）を提案する。
• 外部例ペア（公開データセットからの例）を用いてDPNを学習し、低解像度パッチから高解像度パッチへの一般マッピングを学習する。
• 入力画像の内部例（低解像度入力画像から抽出した自己相似パッチ）を用いて、事前学習済みDPNを微調整することで適応を行う。
• 再構成品質に基づいて、多様な候補モデルの中から最良の適応モデルを選択するモデル選択戦略を用いる。
• 適応モデルと後処理技術（反復的バックプロジェクションおよびデータ拡張（回転・反転）を用いた強化予測）を組み合わせる。
• 入力画像の変換版（回転／反転）に適応モデルを適用し、HR出力を生成し、変換を元に戻して平均化することで、一貫性と品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 入力画像の低解像度画像内に存在する内部的事前知識（自己相似性）は、外部的事前知識を超えて、深層学習ベースの単一画像超解像を向上させることができるか？
• RQ2 内部例での微調整によるモデル適応は、多様な画像タイプにおける超解像性能向上にどの程度有効か？
• RQ3 画像サイズや構造的再帰性（例：繰り返しテクスチャ）の程度に応じて、内部事前知識適応による性能向上が変化するか？
• RQ4 内部事前知識適応は、バックプロジェクションや強化予測といった既存の後処理技術と効果的に組み合わせられるか？
• RQ5 内部事前知識適応による向上効果は、Set5、Set14、BSD100、Urban100、L20といった標準ベンチマークで一貫して得られるか？

主な発見

• 標準データセットにおいて、内部例を用いたモデル適応により、報告済み最高性能を上回る0.1–0.3 dBのPSNR向上が達成され、強化予測と組み合わせた場合、L20では最大0.40 dB、Urban100では0.39 dBの向上が得られた。
• 自己相似性や繰り返し構造が顕著な画像（例：Urban100 や L20）で最大の向上が観察され、ベースのDPNに対して最大0.39 dBの向上が得られた。
• 内部事前知識適応と強化予測（E）を組み合わせることで、最高の向上が得られ、L20では0.40 dB、Urban100では0.39 dBの向上を示し、強い相乗効果が確認された。
• バックプロジェクション（B）と強化予測（E）はそれぞれ測定可能な向上を示したが、内部適応と組み合わせることで最も顕著な性能向上が得られた。
• 提案されたプロジェクションスキップ接続は、負の特徴を効果的に保持し、学習の安定性を向上させ、ネットワークのロバスト性と表現力の向上に寄与した。
• 事前学習済みの深層モデルで固定されたアーキテクチャであっても、コンテンツに特化した適応によって顕著な向上が得られることを示し、既存モデルに眠っている表現可能性の潜在的余地を示した。