[論文レビュー] Recovering Realistic Texture in Image Super-resolution by Deep Spatial Feature Transform

Xintao Wang, Ke Yu+2 more|arXiv (Cornell University)|Apr 9, 2018

Advanced Image Processing Techniques参考文献 38被引用数 102

ひとこと要約

Spatial Feature Transform (SFT) 層を導入し、単一の SR ネットワークをセマンティックセグメンテーションの priors に conditioned 可能にし、単一の前方伝播で現実的かつクラス特異的なテクスチャ回復を実現。

ABSTRACT

Despite that convolutional neural networks (CNN) have recently demonstrated high-quality reconstruction for single-image super-resolution (SR), recovering natural and realistic texture remains a challenging problem. In this paper, we show that it is possible to recover textures faithful to semantic classes. In particular, we only need to modulate features of a few intermediate layers in a single network conditioned on semantic segmentation probability maps. This is made possible through a novel Spatial Feature Transform (SFT) layer that generates affine transformation parameters for spatial-wise feature modulation. SFT layers can be trained end-to-end together with the SR network using the same loss function. During testing, it accepts an input image of arbitrary size and generates a high-resolution image with just a single forward pass conditioned on the categorical priors. Our final results show that an SR network equipped with SFT can generate more realistic and visually pleasing textures in comparison to state-of-the-art SRGAN and EnhanceNet.

研究の動機と目的

• セマンティッククラス priors を活用して SR における現実的なテクスチャ回復の課題を動機づけ、対処する。
• SR特徴を空間的に調整するパラメータ効率的な条件付け機構を開発する。
• セグメンテーションガイド付きのテクスチャ生成が、従来の SRGAN/EnhanceNet ベースラインよりも知覚品質を向上させることを示す。
• 標準の損失関数を用いた条件付き SFT 層を組み込んだ SR ネットワークのエンドツーエンド学習を可能にする。

提案手法

• セグメンテーション確率マップから局所ごとのアフィンパラメータ（gamma, beta）を生成する Spatial Feature Transform (SFT) 層を提案する。
• SFT 層を単一の SR ネットワークに挿入して、中間層全体で空間認識型の特徴モジュレーションを行う。
• 条件ネットワークを用いて共有条件マップを生成し、効率のためにすべての SFT 層にブロードキャストする。
• 生成器を知覚損失と敵対的（GAN）損失で学習し、VGG をベースとした知覚損失とカテゴリラベルで条件付けられた判別器を使用する。
• セグメンテーション確率マップを priors として利用する。セグメンテーションネットワークは LR アップサンプリングされた入力を処理して conditioning の P マップを生成する。
• この手法が、セマンティック priors に条件付けられた単一の前方伝播で HR 出力を生成できることを示す。

実験結果

リサーチクエスチョン

• RQ1 セマンティックセグメンテーション priors は SR を導き、セマンティッククラスに忠実なテクスチャを生成させることができるか？
• RQ2 空間的に条件付けられた特徴変換は、従来の SRGAN/EnhanceNet アプローチと比べてテクスチャの現実感を向上させるか？
• RQ3 共有条件付け機構を通じて SR ネットワークに空間 priors を効率的に注入することは現実的か？
• RQ4 セグメンテーションマップで条件付けられた SR は、さまざまな屋外シーンカテゴリ（例: 空、建物、草、水、植物、動物）でどのように機能するか？

主な発見

• SFT-GAN は、定義された屋外カテゴリ全体で SRGAN および EnhanceNet よりも豊かで現実的なテクスチャを生成し、ユーザ研究で上回った。
• 空間的モジュレーションにより、セマンティック領域間の境界が明確になり、知覚的に優れた結果をもたらす。
• モジュレーションパラメータ（gamma, beta）はセグメンテーション確率マップと相関し、空間領域境界を保持する。
• セグメンテーションマップで条件付けられた SFT 層を用いた単一の前方伝播で高品質な HR テクスチャを生成できる。
• 定性的な結果は、動物の毛皮、建物のレンガ、草のテクスチャの忠実度がベースラインと比べて向上していることを示す。