[論文レビュー] Natural and Realistic Single Image Super-Resolution with Explicit Natural Manifold Discrimination

Jae Woong Soh, Gu Yong Park+2 more|arXiv (Cornell University)|Nov 9, 2019

Advanced Image Processing Techniques参考文献 39被引用数 5

ひとこと要約

本稿では、低レベル画像ドメインにおける自然な多様体を明示的にモデル化することで、知覚的品質を向上させる新しい単一画像超解像手法NatSRを提案する。CNNベースの自然多様体識別器を導入することで、超解像出力を自然画像多様体内に制約し、SRGAN や SFT-GAN などの最先端の知覚指向手法と比較してアーティファクトを低減し、より現実的なテクスチャを生成する。

ABSTRACT

Recently, many convolutional neural networks for single image super-resolution (SISR) have been proposed, which focus on reconstructing the high-resolution images in terms of objective distortion measures. However, the networks trained with objective loss functions generally fail to reconstruct the realistic fine textures and details that are essential for better perceptual quality. Recovering the realistic details remains a challenging problem, and only a few works have been proposed which aim at increasing the perceptual quality by generating enhanced textures. However, the generated fake details often make undesirable artifacts and the overall image looks somewhat unnatural. Therefore, in this paper, we present a new approach to reconstructing realistic super-resolved images with high perceptual quality, while maintaining the naturalness of the result. In particular, we focus on the domain prior properties of SISR problem. Specifically, we define the naturalness prior in the low-level domain and constrain the output image in the natural manifold, which eventually generates more natural and realistic images. Our results show better naturalness compared to the recent super-resolution algorithms including perception-oriented ones.

研究の動機と目的

• 歪み指向のSISRモデルが微細なテクスチャを欠いたぼやけた平均化された結果を生成するという限界に対処する。
• 知覚損失に基づく手法が不自然なアーティファクトやコマーシャルなディテールを生成する問題を克服する。
• 低レベルドメインにおける自然画像多様体を明示的にモデル化し、超解像出力をより現実的な方向に導く。
• 高レベルの意味的事前知識やカテゴリ特異的教師信号に依存せずに、高い知覚的品質を維持する手法を開発する。
• 学習済み識別器を用いて出力空間を自然多様体に制約することで、知覚的リアリズムと自然さのバランスを図る。

提案手法

• 低解像度から高解像度へのマッピングを、1対多の問題としてモデル化し、高解像度空間を自然多様体と不自然多様体に分割する。
• 低レベルドメインにおける自然画像パッチと不自然画像パッチを区別するためのCNNベースの自然多様体識別器（NMD）を設計する。
• NMDを生成的フレームワークに統合し、訓練中に自然多様体外に位置する出力をペナルティ化する。
• 特徴の再利用と訓練安定性を向上させるために、生成器でフラクタル残差学習（FRL）を用いる。
• 歪み指向損失（例：L1/L2）によるピxlsレベルの忠実度と、自然性を確保するNMD損失のハイブリッド損失を用いてモデルを訓練する。
• 敵対的訓練中にNMD損失を適用し、生成器が現実的でアーティファクトのないテクスチャを生成するように誘導する。

実験結果

リサーチクエスチョン

• RQ1 低レベルドメインにおける自然画像多様体の明示的モデリングは、単一画像超解像における知覚的品質を向上させ得るか？
• RQ2 高レベルの意味的事前知識と比較して、低レベルの識別器による自然さの制約は、リアリズムとアーティファクト抑制の観点でどのように異なるか？
• RQ3 自然多様体識別器は、幻覚的または不自然なテクスチャを効果的に低減しつつ、微細なディテールを保持できるか？
• RQ4 提案手法は、最先端のGANベースおよび知覚指向SISRモデルと比較して、より優れた知覚的品質を達成できるか？
• RQ5 NMD損失は、再構成忠実度を劣化させることなく、自然さをどの程度向上させるか？

主な発見

• BSD100ではNIQEスコアが0.6675（2位）を達成し、NQSRでも2位を記録しており、人間の判断と強い知覚的一致性を示している。
• DIV2Kバリデーションセットでは、SRGAN や EnhanceNet、SFT-GAN と比較して、より自然な視覚的結果を生成し、アーティファクトが少なく、より現実的なテクスチャを再現している。
• FRSRバージョン（歪み指向）は、Urban100ベンチマークでEDSRと同等のPSNR（27.72）とSSIM（0.7414）を達成しており、パラメータ数が少ない（4.9M vs. 43M）にもかかわらず、同程度の性能を示している。
• 主観評価のMOSでは、NatSRはSRGAN や EnhanceNet よりもより自然で現実的であると評価されており、SFT-GANは建築的ディテールに顕著なアーティファクトを示している。
• NMD損失は、NIQEとNQSRのNR-IQAスコアが他の知覚指向モデルより低いことから、ノイズやぼやけた出力を効果的に抑制していることが裏付けられている。
• カテゴリ特異的意味的事前知識を必要とせず、分布外入力でも劣化を回避するため、一般化性能においてSFT-GANを上回っている。