[論文レビュー] Image Super-Resolution by Neural Texture Transfer

Zhifei Zhang, Zhaowen Wang+2 more|arXiv (Cornell University)|Mar 3, 2019

Advanced Image Processing Techniques参考文献 35被引用数 13

ひとこと要約

本稿では、高解像度の詳細を強化するために参照画像からマルチスケールのニューラルテクスチャ転送を実行するエンドツーエンドのディーブラーニング手法、SRNTTを提案する。ピクセル空間ではなくニューラル空間におけるマルチレベル特徴マッチングを活用することで、意味的類似性に基づいてテクスチャを適応的に転送し、最先端の性能を達成するとともに、関連のない参照画像が与えられた場合でもSISR品質に滑らかに劣化する。

ABSTRACT

Due to the significant information loss in low-resolution (LR) images, it has become extremely challenging to further advance the state-of-the-art of single image super-resolution (SISR). Reference-based super-resolution (RefSR), on the other hand, has proven to be promising in recovering high-resolution (HR) details when a reference (Ref) image with similar content as that of the LR input is given. However, the quality of RefSR can degrade severely when Ref is less similar. This paper aims to unleash the potential of RefSR by leveraging more texture details from Ref images with stronger robustness even when irrelevant Ref images are provided. Inspired by the recent work on image stylization, we formulate the RefSR problem as neural texture transfer. We design an end-to-end deep model which enriches HR details by adaptively transferring the texture from Ref images according to their textural similarity. Instead of matching content in the raw pixel space as done by previous methods, our key contribution is a multi-level matching conducted in the neural space. This matching scheme facilitates multi-scale neural transfer that allows the model to benefit more from those semantically related Ref patches, and gracefully degrade to SISR performance on the least relevant Ref inputs. We build a benchmark dataset for the general research of RefSR, which contains Ref images paired with LR inputs with varying levels of similarity. Both quantitative and qualitative evaluations demonstrate the superiority of our method over state-of-the-art.

研究の動機と目的

• 大スケールのアップスケーリング要因における細かいテクスチャの回復に課題を抱える既存の単一画像超解像（SISR）手法の制限を解消すること。
• 現在の参照ベース超解像（RefSR）手法が参照画像の内容類似性およびアライメントに敏感であるという問題を克服すること。
• 関連のないか、正確にアラインされていない参照画像であっても性能を維持できるより頑健なRefSRフレームワークの開発。
• 参照画像の類似度が異なるさまざまなレベルをカバーするRefSR手法の評価のためのベンチマークデータセットの確立。

提案手法

• RefSR問題を、生のピクセル空間ではなくニューラル特徴空間におけるマルチレベル特徴マッチングを用いるニューラルテクスチャ転送として定式化する。
• 低解像度入力と参照画像の意味的およびテクスチャ的類似性に基づいて、適応的にテクスチャを転送するエンドツーエンドのディープネットワークを採用する。
• 複数のVGG-19層（例：relu1_1, relu2_1, relu3_1）を横断するマルチスケール特徴交換を用いて、階層的なテクスチャ転送を可能にする。
• 空間的整合性を確保し、過剰なスタイライゼーションを防ぐために、空間的および知覚的正則化を組み込んだ重み付きテクスチャ損失を導入する。
• 光流や正確なアライメントを必要とせず、局所的なマッチングと特徴適応を実行する学習可能なテクスチャ転送モジュールを適用する。
• 構造の保持とリアルなテクスチャディテールの強化を両立させるために、コンテンツ、知覚的、テクスチャ的成分を統合した新しい損失関数を活用する。

実験結果

リサーチクエスチョン

• RQ1 深層特徴空間におけるニューラルテクスチャ転送は、従来のSISRおよびアライメント依存型RefSR手法を上回る超解像品質を実現できるか？
• RQ2 コンテンツ類似度が低い、もしくはアライメントのない参照画像が与えられた場合、モデルの性能はいかがなっているか？
• RQ3 マルチスケール特徴マッチングは、テクスチャ回復および頑健性にどのような影響を与えるか？
• RQ4 統一された損失関数は、テクスチャ転送、コンテンツ保持、知覚的品質のバランスを効果的にとれるか？

主な発見

• 高類似度の参照画像（HRレベル）を用いた場合、CUFED5データセットにおいてSRNTTはPSNR 33.87、SSIM 0.959を達成し、ベースライン手法を著しく上回った。
• 関連のない参照画像（LRレベル）を用いても、SRNTTはPSNR 25.23、SSIM 0.750を維持し、SRGANなどの最先端のSISR手法と同等の性能を示した。
• アブレーションスタディの結果、複数のVGG層（relu1/2/3）を用いた特徴交換は、単一層手法に比べてPSNRを最大8.65 dB向上させた。特にrelu1_1がテクスチャ回復に最も寄与した。
• テクスチャ損失を無効化すると、PSNRは25.61から25.25に低下し、効果的なテクスチャ転送とディテール回復におけるその重要性が確認された。
• 特徴交換を光流（SRNTT-flow）に置き換えると、PSNRが著しく低下（例：HRレベルで25.82から24.64に低下）し、幾何的アライメントよりもニューラル特徴マッチングの優位性が示された。
• モデルは滑らかな劣化を示した：参照類似度が低下するに従い性能が滑らかに低下し、関連のない参照でも頑健性を維持した。