[論文レビュー] Deep Networks for Image Super-Resolution with Sparse Prior

Zhaowen Wang, Ding Liu+3 more|arXiv (Cornell University)|Jul 31, 2015

Advanced Image Processing Techniques参考文献 31被引用数 123

ひとこと要約

本稿では、画像超解像のためのドメイン固有のスパースコーディング事前知識とエンドツーエンドのディープラーニングを統合する、スパースコーディングベースのネットワーク（SCN）と呼ばれる深層ニューラルネットワークアーキテクチャを提案する。ネットワークを反復的スパースコーディング手順に類似させる構造と、バックプロパゲーションによる共同学習を可能にする設計により、最先端のディープラーニングモデルと比較して、より優れた再構成精度と知覚的品質を達成するとともに、モデルサイズの削減と高速な学習を実現した。

ABSTRACT

Deep learning techniques have been successfully applied in many areas of computer vision, including low-level image restoration problems. For image super-resolution, several models based on deep neural networks have been recently proposed and attained superior performance that overshadows all previous handcrafted models. The question then arises whether large-capacity and data-driven models have become the dominant solution to the ill-posed super-resolution problem. In this paper, we argue that domain expertise represented by the conventional sparse coding model is still valuable, and it can be combined with the key ingredients of deep learning to achieve further improved results. We show that a sparse coding model particularly designed for super-resolution can be incarnated as a neural network, and trained in a cascaded structure from end to end. The interpretation of the network based on sparse coding leads to much more efficient and effective training, as well as a reduced model size. Our model is evaluated on a wide range of images, and shows clear advantage over existing state-of-the-art methods in terms of both restoration accuracy and human subjective quality.

研究の動機と目的

• スパースコーディングからのドメイン固有の知識を組み込むことで、純粋にデータ駆動のディープラーニングモデルの限界を克服すること。
• スパースコーディングの物理的解釈をディープネットワークアーキテクチャに埋め込むことで、学習効率の向上とモデルのコンact化を実現すること。
• 自己相似性に基づくアーキテクチャを設計することで、任意のスケーリング要因に対応できるようにすること。
• スパース表現からの構造的事前知識を活用することで、PSNR指標を超えた知覚的画像品質の向上を実現すること。
• ハンドクラフトされた事前知識とディープラーニングを組み合わせることで、単独で用いる場合よりも優れた性能が得られることを示すこと。

提案手法

• 各層がスパースコーディング最適化プロセスの1反復に対応する順方向ニューラルネットワーク（SCN）を構築し、ネットワーク構造にスパース表現事前知識を埋め込む。
• バックプロパゲーションを用いてSCNをエンドツーエンドで学習させ、辞書と係数の学習を含むすべての部品を同時に最適化可能にする。
• 各層の物理的意味に基づく原理的な初期化戦略を採用し、最適化の速度と収束品質を向上させる。
• 自己相似性に着想を得て、複数のSCNを連結したカスケードネットワーク（CSCN）を設計し、任意で大きなスケーリング要因に対応可能にする。
• エンドツーエンド学習を可能にするために、マルチスケール損失関数を実装し、さまざまなアップスケーリング要因においてもロバストで高い性能を発揮するようにする。
• スパースコーディングの構造的不変性を活用し、高精度なテクスチャとエッジ回復を実現するとともに、アーチファクトを最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 スパースコーディングのようなドメイン固有の事前知識を、画像超解像のためのディープニューラルネットワークアーキテクチャに効果的に統合できるか？
• RQ2 スパースコーディング事前知識をディープラーニングに統合することで、純粋にデータ駆動のモデルと比較して、定量的指標（例：PSNR）と主観的視覚品質の両方を向上させられるか？
• RQ3 スパースコーディング原理に基づく構造的ネットワークが、高い性能を維持しつつ、高速な学習と小型モデルサイズを達成できるか？
• RQ4 カスケードネットワーク設計は、大きなアップスケーリング要因におけるスケーラビリティとアーチファクト低減にどのように寄与するか？
• RQ5 スパースコーディング事前知識の統合は、PSNR最適化を越えて、どれほど知覚的品質を向上させるか？

主な発見

• 提案されたCSCNモデルは、×3スケーリングでSet5データセットにおいて37.14 dBのPSNRを達成し、以前の最先端のCNNモデルを0.22 dB上回った。
• Set14データセットでは、×3スケーリングでPSNRが33.26 dBに達し、CNNモデルを0.30 dB、SCモデルを0.42 dB上回った。
• 主観評価では、CSCNはCNNやスパースコーディングを含むすべての比較手法を顕著に上回り、視覚的品質スコア（0.8908）がCNN（0.7910）を上回った。
• 『チップ』および『ゼブラ』画像の視覚的比較から、特に細かい構造やエッジ部でリバーブやぼやけのアーチファクトが顕著に低減されていることが示された。
• 他のスパースコーディング拡張手法と比較して、CSCNモデルは0.3–1.6 dBのPSNR向上を達成し、カスケードアーキテクチャの有効性を示した。
• スパースコーディング事前知識の統合により、構造的初期化とパrameter数の削減が実現され、SCNモデルはより高速な学習と小型モデルサイズを達成した。