[論文レビュー] Optimizing Generative Adversarial Networks for Image Super Resolution via Latent Space Regularization

Sheng Zhong, Shifu Zhou|arXiv (Cornell University)|Jan 22, 2020

Advanced Image Processing Techniques参考文献 27被引用数 4

ひとこと要約

本稿では、単一画像超解像（SISR）における生成対抗ネットワーク（GANs）のための潜在空間正則化（LSR）を提案する。Lipschitz連続性を学習済み符号化ネットワークと潜在空間正則化項を用いて強制することで、構造的忠実性を向上させ、アーティファクトを低減する。本手法は、ECCV2020で発表されたSOTAモデル（ESRGANやSRGAN）を上回り、知覚的品質、シャープネス、構造的類似性において優れた性能を示し、L1誤差は低く抑えられ、ベンチマーク全体で一貫性が向上している。

ABSTRACT

Natural images can be regarded as residing in a manifold that is embedded in a higher dimensional Euclidean space. Generative Adversarial Networks (GANs) try to learn the distribution of the real images in the manifold to generate samples that look real. But the results of existing methods still exhibit many unpleasant artifacts and distortions even for the cases where the desired ground truth target images are available for supervised learning such as in single image super resolution (SISR). We probe for ways to alleviate these problems for supervised GANs in this paper. We explicitly apply the Lipschitz Continuity Condition (LCC) to regularize the GAN. An encoding network that maps the image space to a new optimal latent space is derived from the LCC, and it is used to augment the GAN as a coupling component. The LCC is also converted to new regularization terms in the generator loss function to enforce local invariance. The GAN is optimized together with the encoding network in an attempt to make the generator converge to a more ideal and disentangled mapping that can generate samples more faithful to the target images. When the proposed models are applied to the single image super resolution problem, the results outperform the state of the art.

研究の動機と目的

• 教師ありのSISRにおいて、正解画像にアクセス可能な状況下でも、継続的なアーティファクトや構造的歪みが生じる問題に対処すること。
• 潜在空間における局所的不変性を強制することで、生成された高解像度画像の正解画像への忠実性を向上させること。
• Lipschitz連続性制約を組み込むことで、教師ありSISRにおけるGANの訓練安定性と収束性を向上させること。
• 生成器と画像を分離可能で最適な潜在空間に写像する符号化ネットワークとの間で、共同最適化フレームワークを構築すること。
• ESRGAN や SRGAN などの既存SISR手法を、知覚的品質と構造的正確性の面で上回ること。

提案手法

• 高解像度画像を低次元の潜在空間に写像する符号化ネットワークを導入し、Lipschitz連続性条件（LCC）に基づく。
• KKT条件を用いてLCCを生成器損失関数内の正則化項に再定式化し、局所的不変性を強制する。
• 生成器と符号化ネットワークを共同で最適化することで、生成器がターゲット画像多様体へのより望ましい、分離可能な写像を学習できるようにする。
• LCCに基づく正則化をGANフレームワークに統合し、特にESRGANアーキテクチャに相対的敵対的損失と知覚的損失を組み込む。
• 知覚的損失にはVGG19-conv54特徴量を用い、定量的評価にはYチャンネルのL1正規化を適用する。
• モデルはDIV2Kデータセット上でエンドツーエンドに訓練され、損失項や敵対的目的の異なる組み合わせに対するアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 潜在空間におけるLipschitz連続性の強制は、GANベースの超解像における構造的歪みとアーティファクトを低減できるか？
• RQ2 学習済み符号化ネットワークとGANを共同で最適化することで、生成画像の正解画像への忠実性が向上するか？
• RQ3 LSRは、標準GANやESRGANと比較して、知覚的品質および構造的類似性の面で優れているか？
• RQ4 LSR手法は、PSNR、SSIM、PIといった定量的指標の分散を低減し、性能の一貫性を向上させるか？
• RQ5 LSRフレームワークは、SISRを越えて他の画像修復タスクへも一般化可能か？

主な発見

• LSRを用いたGANは、ESRGAN や SRGAN と比較して、知覚的品質と構造的忠実性に優れ、視覚的結果では明確なテクスチャと少ないアーティファクトを実現している。
• CLSRモデルは、BSD100で平均L1誤差0.420、PIRMで0.429、Urbanで0.436、Set14で0.444を記録し、全データセットでCESRを上回った。
• PSNR、SSIM、PIの標準偏差がLSRベースのモデルで低く抑えられており、テストセット全体での性能の一貫性が示された。
• CLSRモデルは、ESRGAN や CESR の結果に残存するぼやけたシマウマの縞模様や煙突に不自然な線が引かれた歪みを是正した。
• LSR手法は相対的敵対的損失とコサイン類似度に基づく文脈的損失を組み合わせるとより良好に機能し、敵対的目的の選択に敏感であることが示された。
• DIV2Kデータセットのみを用いても、LSRモデルは最先端の性能を達成しており、強力な一般化性と頑健性を示している。