[論文レビュー] Wavelet Domain Style Transfer for an Effective Perception-distortion Tradeoff in Single Image Super-Resolution

Xin Deng, Ren Yang+2 more|arXiv (Cornell University)|Oct 9, 2019

Advanced Image Processing Techniques参考文献 31被引用数 10

ひとこと要約

本稿では、2次元定常ウェーブレット変換（SWT）を用いて低周波成分（客観的品質）と高周波成分（知覚的品質）を分離することで、優れた知覚-歪度（PD）トレードオフを達成するウェーブレットドメインスタイル転送（WDST）手法を提案する。低周波サブバンドには特化したネットワークを適用し、知覚的品質はウェーブレットドメインでのスタイル転送により向上させ、複数のデータセットにおいてGANベースおよび融合手法を上回るPSNRおよび知覚スコアを達成する。

ABSTRACT

In single image super-resolution (SISR), given a low-resolution (LR) image, one wishes to find a high-resolution (HR) version of it which is both accurate and photo-realistic. Recently, it has been shown that there exists a fundamental tradeoff between low distortion and high perceptual quality, and the generative adversarial network (GAN) is demonstrated to approach the perception-distortion (PD) bound effectively. In this paper, we propose a novel method based on wavelet domain style transfer (WDST), which achieves a better PD tradeoff than the GAN based methods. Specifically, we propose to use 2D stationary wavelet transform (SWT) to decompose one image into low-frequency and high-frequency sub-bands. For the low-frequency sub-band, we improve its objective quality through an enhancement network. For the high-frequency sub-band, we propose to use WDST to effectively improve its perceptual quality. By feat of the perfect reconstruction property of wavelets, these sub-bands can be re-combined to obtain an image which has simultaneously high objective and perceptual quality. The numerical results on various datasets show that our method achieves the best trade-off between the distortion and perceptual quality among the existing state-of-the-art SISR methods.

研究の動機と目的

• 単一画像スーパーレゾリューション（SISR）における低歪度と高い知覚的品質の根本的トレードオフを解決すること。
• 特に高周波成分の再構築において不安定な訓練とアーチファクト生成を引き起こすGANベース手法の限界を克服すること。
• ウェーブレット分解を用いて客観的品質と知覚的品質の成分を分離することで、既存の画像融合手法を改善すること。
• ネットワークの補間による制約を回避するため、客観的品質と知覚的品質の最適化を分離することで、柔軟なネットワークアーキテクチャ選択を可能にすること。
• ウェーブレットドメインにおけるサブバンド固有の最適化により、既存の最先端手法を上回るPDトレードオフを達成すること。

提案手法

• 2次元定常ウェーブレット変換（SWT）を用いて、低分解能入力画像を低周波サブバンドと高周波サブバンドに分解し、完全再構成特性を活用する。
• 低周波サブバンドの客観的品質（例：PSNR）を向上させるために、特化した強化ネットワークを適用する。
• 各高周波サブバンド（LH、HL、HH）に対してウェーブレットドメインスタイル転送（WDST）を実行し、構造的詳細の歪みを生じさせずに知覚的品質（例：NRQM）を向上させる。
• 事前学習済みネットワーク（例：VGG）からの特徴に基づく知覚的損失を用いて、ウェーブレットドメインでのスタイル転送をガイドし、自然なテクスチャと構造の保持を確保する。
• 逆SWTにより、強化された低周波サブバンドとスタイル化された高周波サブバンドを組み合わせ、最終的な高分解能画像を再構成する。
• 各高周波サブバンドにおけるスタイル転送を、知覚的損失関数の反復的最小化により最適化し、コンテンツに忠実でありながらスタイル転送を実現する。

実験結果

リサーチクエスチョン

• RQ1 ウェーブレットドメインでの分解は、SISRにおける客観的品質に影響する成分と知覚的品質に影響する成分を効果的に分離できるか？
• RQ2 低周波サブバンドには強化、高周波サブバンドにはスタイル転送を適用するという、異なる最適化戦略を採用することで、統合最適化に比べてより優れた知覚-歪度トレードオフが達成できるか？
• RQ3 スーパーレゾリューション中に構造的・テクスチャ的詳細を保持する観点から、ウェーブレットドメインスタイル転送はピクセルドメインスタイル転送よりも優れているか？
• RQ4 異なる高周波サブバンド（LH、HL、HH）は知覚的品質にどの程度寄与しているか、かつそれらを個別に最適化できるか？
• RQ5 安定な敵対的訓練を必要とせず、同一のネットワークアーキテクチャを必要としない本手法は、GANベースおよび補間ベースの融合手法を上回る性能を達成できるか？

主な発見

• 本手法は、PD曲線上のすべてのオранジーポイント手法の中で、知覚と歪度のトレードオフが最も優れており、SRGAN-MSE、G–MGBP、PESR、Deng、ESRGANの両方のPSNRおよびNRQMで優位性を示した。
• DIV2Kデータセットでは、PSNRが26.56 dB、NRQMが8.5005を達成し、Deng（26.46 dB / 8.4452）およびESRGAN（26.44 dB / 8.3034）を上回ったが、これは最適でない入力ネットワークでも同様に成立した。
• アブレーションスタディの結果、任意の高周波サブバンドでWDSTを無効化すると知覚的品質（NRQM）が著しく低下し、特にLHおよびHLサブバンドが最も大きな影響を及ぼした。
• HHサブバンドはLHおよびHLに比べて知覚的品質への寄与が小さいと推察され、その縞状の詳細コンテンツが知覚的にあまり目立たないためである。
• PD曲線解析において、本手法は単純な客観的品質（例：EDSR）および知覚的品質（例：CX）出力の補間よりも顕著に優れており、補間曲線の下に位置していることが確認された。
• 視覚的比較により、本手法は構造的詳細（例：窓枠、橋のテクスチャ）を保持しており、SRGAN-MSEやDengの手法で見られるノイズやアーチファクトを回避していることが確認された。