[論文レビュー] Dual Perceptual Loss for Single Image Super-Resolution Using ESRGAN

Jie Song, Huawei Yi+4 more|arXiv (Cornell University)|Jan 17, 2022

Advanced Image Processing Techniques被引用数 6

ひとこと要約

本稿では、単一画像超解像における新しい損失関数であるデュアル知覚損失（DP Loss）を提案する。この手法は、VGGおよびResNetネットワークからの特徴を組み合わせることで、知覚的品質と構造的忠実度を向上させる。2つの知覚損失を動的に重み付けすることで、訓練バイアスを低減し、テクスチャの詳細回復を強化し、Set5、Set14、BSD100、Urban100といったベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

The proposal of perceptual loss solves the problem that per-pixel difference loss function causes the reconstructed image to be overly-smooth, which acquires a significant progress in the field of single image super-resolution reconstruction. Furthermore, the generative adversarial networks (GAN) is applied to the super-resolution field, which effectively improves the visual quality of the reconstructed image. However, under the condtion of high upscaling factors, the excessive abnormal reasoning of the network produces some distorted structures, so that there is a certain deviation between the reconstructed image and the ground-truth image. In order to fundamentally improve the quality of reconstructed images, this paper proposes a effective method called Dual Perceptual Loss (DP Loss), which is used to replace the original perceptual loss to solve the problem of single image super-resolution reconstruction. Due to the complementary property between the VGG features and the ResNet features, the proposed DP Loss considers the advantages of learning two features simultaneously, which significantly improves the reconstruction effect of images. The qualitative and quantitative analysis on benchmark datasets demonstrates the superiority of our proposed method over state-of-the-art super-resolution methods.

研究の動機と目的

• 高倍率のアップスケーリング条件下での構造的歪みを是正すること。
• VGGおよびResNetネットワークからの補完的特徴を活用することで、知覚的品質を向上させること。
• 異なる大きさの知覚損失間の不均衡を動的重み付けによって解消すること。
• ネットワークのテクスチャの詳細を推論する能力を高め、現実的な画像構造を保持すること。

提案手法

• VGGベースおよびResNetベースの知覚特徴を組み合わせることで、デュアル知覚損失（DP Loss）を提案する。
• 事前学習済みのVGGおよびResNetネットワークを用いて、知覚損失計算のためのマルチレベル特徴を抽出する。
• 訓練中にVGGとResNetの損失間の大きさの差を補正するため、動的重み付け機構を適用する。
• ESRGANフレームワークにDP Lossを組み込み、元の知覚損失の代替として使用する。
• adversarial loss、perceptual loss、および提案されたDP Lossを含む組み合わせ損失関数を最適化する。
• 訓練中に適応的に変化する損失重み付け戦略を採用し、1つの損失成分が優位になるのを防ぐ。

実験結果

リサーチクエスチョン

• RQ1 知覚損失にVGGとResNetの特徴を組み合わせることで、超解像品質が向上するか？
• RQ2 動的損失重み付けは、異なる知覚損失成分間の大きさの差を効果的にバランスさせるか？
• RQ3 標準的な知覚損失と比較して、提案されたDP Lossは構造的忠実度と視覚的品質でどのように差をつけるか？
• RQ4 二重特徴アプローチは、アーティファクトをどれほど低減し、テクスチャの詳細回復をどれほど向上させるか？

主な発見

• Set5データセットでは、提案されたESRGAN-DP手法がPSNR 27.11、LPIPS 0.0990を達成し、ESRGANおよびSFTGANを上回った。
• Set14では、PSNR 26.00、LPIPS 0.1139を達成し、ベースラインのESRGANに対して一貫した改善を示した。
• BSD100では、PSNR 25.40、LPIPS 0.1280を達成し、多様な画像タイプにわたる頑健性を示した。
• Urban100では、PSNR 24.79、LPIPS 0.1186を達成し、複雑で現実的な画像において優れた性能を示した。
• アブレーションスタディの結果、ResNet損失および動的重み付けの両方がSSIMおよびLPIPSスコアの向上に顕著に寄与することが確認された。
• 視覚的比較では、DP LossがベースラインのESRGANと比較して、不自然なアーティファクトを低減し、テクスチャの明瞭さを向上させた。