[論文レビュー] Super-resolution Using Constrained Deep Texture Synthesis

Libin Sun, James Hays|arXiv (Cornell University)|Jan 26, 2017

Advanced Image Processing Techniques参考文献 46被引用数 5

ひとこと要約

本稿では、事前学習済み畳み込みニューラルネットワーク（CNN）から得られるグラム行列を用いて制約付きの深層テクスチャ合成を実行することで、高周波成分の詳細を想起させることで、従来手法に比べて顕著に視覚的品質が向上する超解像手法を提案する。入力の構造を保持しつつ、参照画像からのテクスチャ統計を特徴空間の制約を介して転送することで、特に複雑なテクスチャを有する自然画像においてより現実的なテクスチャを実現する。

ABSTRACT

Hallucinating high frequency image details in single image super-resolution is a challenging task. Traditional super-resolution methods tend to produce oversmoothed output images due to the ambiguity in mapping between low and high resolution patches. We build on recent success in deep learning based texture synthesis and show that this rich feature space can facilitate successful transfer and synthesis of high frequency image details to improve the visual quality of super-resolution results on a wide variety of natural textures and images.

研究の動機と目的

• 最先端の手法ですら高いPSNR/SSIMスコアを達成しても、出力が過剰に平滑化されてしまう単一画像超解像（SISR）における視覚的品質のギャップを是正すること。
• SISRの不適切な定式化に起因する高周波成分の抑制を招く、従来の事前知識や回帰ベースのマッピングの限界を克服すること。
• 事前学習済みネットワークの深層特徴空間が、特に自然なテクスチャに対して、現実的なテクスチャ転送と想起を可能にするかを検討すること。
• 参照画像から低解像度入力へのテクスチャ統計の転送において、グラム行列の制約が構造的一致性を維持しながら効果的に機能するかを調査すること。
• 自然画像と人間の顔など、テクスチャと構造的事前知識が顕著に異なる多様な画像タイプにおける本手法の性能を評価すること。

提案手法

• 本手法は、低解像度入力と、望ましいテクスチャを含む参照画像の両方から、事前学習済みの深層CNN（例：VGG）を用いて階層的特徴表現を抽出する。
• ネットワークの複数の層で、入力と参照画像の特微マップ間のグラム行列の差を最小化することで、テクスチャ転送を実現する。
• 空間的制約は、PatchMatchを用いて計算されたスパースなパッチ対応関係を通じて適用され、局所的なテクスチャ合成をガイドし、テクスチャ統計が関連する領域にのみ転送されるようにする。
• 最適化は画像空間で実行され、グラム行列損失とピxls単位の再構成損失を組み合わせることで、入力構造の保持とモードクラッシュの回避を図る。
• 本手法はグローバルおよびローカルの両方のテクスチャ転送をサポートする：グローバルは均一なテクスチャに適し、複雑なシーンにはマスク付き最適化によるローカル転送を採用する。
• 参照画像内のソース領域をマニュアルまたはPatchMatchベースのマスクで定義し、境界アーチファクトの低減を目的に膨張処理を施す。

実験結果

リサーチクエスチョン

• RQ1 特にグラム行列マッチングという深層特徴空間の制約が、現実的な高周波成分テクスチャを超解像画像に効果的に転送できるか。
• RQ2 自然なテクスチャに対して、従来のSISR手法と比較して、本手法の視覚的品質はどのように向上しているか。
• RQ3 本手法は、学習データに存在しない新しいテクスチャをどれほど想起できるか。また、テクスチャの遷移やオブジェクト境界の処理ではどうなるか。
• RQ4 本手法が人間の顔のような構造的コンテンツではなぜ失敗するのか。また、このような場合におけるグローバル統計の使用の限界は何か。
• RQ5 スパースな対応関係による局所的テクスチャ転送は、複雑なシーンにおける現実性の向上とアーチファクトの低減に寄与するか。

主な発見

• 本手法は、SRCNN やバイキュービック補間といったベースラインSISR手法に比べ、特に繊細なテクスチャや高周波成分の想起において顕著に視覚的品質が向上する。
• 木々、水、葉っぱなど複雑なテクスチャを有する自然画像において、グローバルおよびローカルのベースライン（CNNMRF や SRCNN を含む）に比べ、より現実的で詳細な出力を得る。
• PSNRが最高ではない場合でも、本手法は既存の手法を上回る知覚的品質を達成しており、視覚的リアリズムを評価するにはPSNRだけでは不十分であることを確認する。
• 顔画像では、グローバル統計の不一致と顔面特徴の構造的性質のため、意味のある詳細の転送に失敗するが、この場合、CNNMRF がより優れた性能を示す。
• 不良なPatchMatch対応関係により、リングアーチファクトや誤ったテクスチャブレンド（例：木に水のテクスチャが重複）が発生し、マスク品質に敏感であることが判明する。
• マニュアルで作成されたマスクは低周波成分の色バイアスを低減するが、テクスチャ遷移部や画像境界付近でリングアーチファクトを増加させるため、マスク設計におけるトレードオフが顕在化する。