[論文レビュー] On the Effectiveness of Spectral Discriminators for Perceptual Quality Improvement

Xin Luo, Yunan Zhu+2 more|arXiv (Cornell University)|Jul 22, 2023

Image and Video Quality AssessmentComputer Science被引用数 3

ひとこと要約

本稿では、GANベースの画像超解像における空間的およびスペクトル的識別器を組み合わせたデュアルストリーム識別器を提案し、スペクトル整合性の向上により知覚的品質を向上させる。ピクセル単位のフーリエ変換とトランスフォーマーに基づくスペクトル集約（SpecFormer）を用いることで、ベースラインと比較して優れた知覚的品質とより正確なノンレファレンス画像品質評価（NR-IQA）を達成する。

ABSTRACT

Several recent studies advocate the use of spectral discriminators, which evaluate the Fourier spectra of images for generative modeling. However, the effectiveness of the spectral discriminators is not well interpreted yet. We tackle this issue by examining the spectral discriminators in the context of perceptual image super-resolution (i.e., GAN-based SR), as SR image quality is susceptible to spectral changes. Our analyses reveal that the spectral discriminator indeed performs better than the ordinary (a.k.a. spatial) discriminator in identifying the differences in the high-frequency range; however, the spatial discriminator holds an advantage in the low-frequency range. Thus, we suggest that the spectral and spatial discriminators shall be used simultaneously. Moreover, we improve the spectral discriminators by first calculating the patch-wise Fourier spectrum and then aggregating the spectra by Transformer. We verify the effectiveness of the proposed method twofold. On the one hand, thanks to the additional spectral discriminator, our obtained SR images have their spectra better aligned to those of the real images, which leads to a better PD tradeoff. On the other hand, our ensembled discriminator predicts the perceptual quality more accurately, as evidenced in the no-reference image quality assessment task.

研究の動機と目的

• 周波数ドメインの観点から、GANベースの画像超解像におけるスペクトル的識別器の有効性を調査すること。
• 低周波数帯および高周波数帯における差を検出する際の、空間的およびスペクトル的識別器の補完的強みを分析すること。
• 1次元MLPの入力をピクセル単位のフーリエ変換とトランスフォーマーに基づく集約に置き換えることで、スペクトル的識別器を改善すること。
• 空間的およびスペクトル的識別器を組み合わせることで、より優れた知覚的品質およびより正確なノンレファレンス画像品質評価（NR-IQA）が達成されることを検証すること。

提案手法

• GANベースの超解像における知覚的品質の向上を目的として、空間的識別器とスペクトル的識別器を併用するデュアル識別器アーキテクチャを提案する。
• ピクセル単位のフーリエ変換を計算し、自己注意メカニズムを用いてスペクトルを集約する、トランスフォーマーに基づくスペクトル的識別器（SpecFormer）を導入する。
• 実画像と生成画像間の周波数分布の差を分析するために、フーリエスペクトルの方位平均を用いる。
• 空間的およびスペクトル的識別器を別々に訓練するが、GAN最適化の際に併用する二ストリーム訓練戦略を採用する。
• PSNR、SRCC、PLCC、KRCCなどの指標を用いて、画像超解像およびノンレファレンス画像品質評価（NR-IQA）の両方で手法を検証する。
• NR-IQA用にRecycleDフレームワークを適応し、空間的識別器の代わりに空間的およびスペクトル的識別器のアンサンブルを導入することで、品質予測の精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 画像の低周波数成分および高周波数成分における差を検出する際、スペクトル的識別器と空間的識別器はどのように比較されるか？
• RQ2 スペクトル的識別器は、空間的識別器が高周波数アーティファクトを好む傾向を効果的に補完できるか？
• RQ3 ピクセル単位のフーリエ変換とトランスフォーマーを用いたアーキテクチャ改善により、超解像における知覚的品質が向上するか？
• RQ4 空間的およびスペクトル的識別器のアンサンブルは、ノンレファレンス画像品質評価性能を向上させることができるか？

主な発見

• スペクトル的識別器は高周波数帯における差の同定において空間的識別器を上回るが、低周波数帯では空間的識別器が優れている。
• ピクセル単位のフーリエ変換とトランスフォーマーによる集約を用いる本稿で提案するSpecFormerは、1次元MLPベースラインと比較してスペクトル的識別器の性能を向上させる。
• 空間的およびスペクトル的識別器のデュアル識別器は、生成画像のスペクトルが実画像によりよく一致するため、超解像において最良の知覚的品質を達成し、PDトレードオフを改善する。
• KonIQ-10kデータセットでは、VGG+SpecFormerの組み合わせがNR-IQAで最高のSRCC（0.6321）およびPLCC（0.6543）を達成し、すべてのベースラインを上回った。
• アンサンブル識別器は、テストされたすべてのデータセットでノンレファレンス画像品質評価性能を向上させ、PIPALおよびKonIQ-10kの両方で最高の結果を達成した。
• アブレーションスタディの結果、SpecFormerはさまざまな空間的識別器と組み合わせた場合に一貫して性能を向上させ、特にVGGと組み合わせた場合に顕著な向上が見られた。