[論文レビュー] Reference-Conditioned Super-Resolution by Neural Texture Transfer

Zhifei Zhang, Zhaowen Wang+2 more|arXiv (Cornell University)|Apr 10, 2018

Advanced Image Processing Techniques参考文献 27被引用数 6

ひとこと要約

本論文では、任意の参照画像から高周波成分のテクスチャ詳細を低解像度入力に転送するエンドツーエンドのディーブラーニングモデル、SRNTTを提案する。神経的テクスチャ転送と類似度マップを用いて、コンテンツとテクスチャを適応的に統合する。本手法は、特に大規模な拡大倍率や、不一致または関係のない参照画像の下でも、最先端の視覚的品質を達成しており、新規の CUFED5 ベンチマークデータセットを用いた広範な定量的およびユーザースタディによって検証されている。

ABSTRACT

With the recent advancement in deep learning, we have witnessed a great progress in single image super-resolution. However, due to the significant information loss of the image downscaling process, it has become extremely challenging to further advance the state-of-the-art, especially for large upscaling factors. This paper explores a new research direction in super resolution, called reference-conditioned super-resolution, in which a reference image containing desired high-resolution texture details is provided besides the low-resolution image. We focus on transferring the high-resolution texture from reference images to the super-resolution process without the constraint of content similarity between reference and target images, which is a key difference from previous example-based methods. Inspired by recent work on image stylization, we address the problem via neural texture transfer. We design an end-to-end trainable deep model which generates detail enriched results by adaptively fusing the content from the low-resolution image with the texture patterns from the reference image. We create a benchmark dataset for the general research of reference-based super-resolution, which contains reference images paired with low-resolution inputs with varying degrees of similarity. Both objective and subjective evaluations demonstrate the great potential of using reference images as well as the superiority of our results over other state-of-the-art methods.

研究の動機と目的

• ダウンサンプリング過程での情報損失により、大規模な拡大倍率において従来の単一画像超解像（SISR）が細かいテクスチャ詳細を回復できないという限界に対処すること。
• 外部の参照画像がターゲットのコンテンツと類似性がなくても、高周波成分のテクスチャ詳細を提供するという、参照条件付き超解像という新しいパラダイムを検討すること。
• 参照画像が関係のない場合や不一致している場合でも、低解像度画像からのコンテンツと、参照画像からのテクスチャを適応的に統合するディーブラーニングモデルを設計すること。
• 参照画像の内容、テクスチャ、色、照明、視点の類似性に応じて変化する、公平な評価と今後の研究を可能にするために、CUFED5と呼ばれるベンチマークデータセットを構築すること。

提案手法

• 提案されたSRNTTモデルは、参照画像を条件として用いる深層ニューラルネットワークアーキテクチャを採用し、コンテンツ再構築とテクスチャ転送を同時に最適化する。
• 特徴空間における類似度マップ $M^{s}$ を用いて、特にランダムノイズや一様強度の画像のような極端な状況において、参照画像からの相関のないまたは不適切なテクスチャを抑制する。
• 高レベルの特徴表現における局所的なテクスチャマッチングを実行し、参照画像から関連するテクスチャパターンを特定して、超解像出力に転送する。
• 視覚的リアリズムを向上させつつ構造的忠実性を保持するため、知覚的損失と adversarial 損失を統合し、SISR単体では達成できない範囲でのテクスチャ生成を参照画像がガイドする。
• ネットワークは、コンテンツ損失、知覚的損失、 adversarial 損失の組み合わせを用いてエンドツーエンドで学習され、参照画像を条件入力として用いる。
• 本手法は、参照画像の不一致やコンテンツの不一致に対しても頑健であるように設計されており、参照画像とターゲットが意味的コンテンツを共有しなくても、効果的なテクスチャ転送を可能にする。

実験結果

リサーチクエスチョン

• RQ1 任意の参照画像（コンテンツが関係のない場合を含む）から、高周波成分のテクスチャ詳細を低解像度入力に効果的に転送できるか？
• RQ2 参照画像とターゲット画像の間の類似度（コンテンツ、テクスチャ、色、視点）が低下するにつれて、参照条件付き超解像の性能はどのように変化するか？
• RQ3 類似度マップ $M^{s}$ は、ノイズや一様強度の画像のような極端な参照画像からの不要なテクスチャを抑制するために果たす役割は何か？
• RQ4 大規模な拡大倍率下で、提案されたSRNTTモデルは、最先端のSISRおよびGANベースの手法と比較して、視覚的品質およびテクスチャの妥当性において優れているか？
• RQ5 参照画像がアライメントされていなかったり、一致する構造的要素を含んでいなかったりする場合、参照条件付き超解像は視覚的品質をどの程度向上できるか？

主な発見

• SRNTTは、SRCNN、SRGAN、EDSRその他のSOTA手法と比較して、特に4倍拡大時の細かいテクスチャ詳細の回復において優れた視覚的品質を達成している。
• ユーザースタディの結果、SRNTTは比較対象の全手法よりも視覚的品質が優れていると評価された割合が高く、参照の類似度が低下しても徐々に性能が低下するが、関係のない参照でも頑健に保たれている。
• 類似度マップ $M^{s}$ は極めて重要である：$M^{s}$ を含まないSRNTTは、ランダムノイズを参照画像として与えるとノイズのようなテクスチャを生成するが、SRNTTはそのようなアーティファクトを効果的に抑制する。
• 完全な参照（元の高解像度画像）が与えられた場合、SRNTTはすべてのベースラインよりはるかに細かいディテールを生成し、高品質な参照を活用できる能力を示している。
• すべての暗い、すべての明るい、ランダムノイズといった極端な参照に対しても、SRNTTは最先端のGANベースの手法と同等の視覚的品質を維持しており、その頑健性を実証している。
• CUFED5ベンチマークデータセットにより、参照の類似度を5段階に分けて体系的な評価が可能となり、今後の参照ベース超解像研究の基盤を提供している。