[論文レビュー] FreqNet: A Frequency-domain Image Super-Resolution Network with Dicrete Cosine Transform

Runyuan Cai, Yue Ding+1 more|arXiv (Cornell University)|Nov 21, 2021

Advanced Image Processing Techniques参考文献 32被引用数 4

ひとこと要約

FreqNetは、離散コサイン変換（DCT）特徴マップを用いて高周波成分を明示的に学習する周波数ドメイン超解像ネットワークを提案する。空間的および周波数ドメインブランチを組み合わせ、独自の周波数損失関数を採用することで、優れた知覚的品質と高精度な詳細再構成を達成し、空間ドメイン手法よりも指標および視覚的忠実度において優れた性能を発揮する。また、他のSRモデルの出力から周波数ドメイン出力を統合することで、後処理による強化を可能にする。

ABSTRACT

Single image super-resolution(SISR) is an ill-posed problem that aims to obtain high-resolution (HR) output from low-resolution (LR) input, during which extra high-frequency information is supposed to be added to improve the perceptual quality. Existing SISR works mainly operate in the spatial domain by minimizing the mean squared reconstruction error. Despite the high peak signal-to-noise ratios(PSNR) results, it is difficult to determine whether the model correctly adds desired high-frequency details. Some residual-based structures are proposed to guide the model to focus on high-frequency features implicitly. However, how to verify the fidelity of those artificial details remains a problem since the interpretation from spatial-domain metrics is limited. In this paper, we propose FreqNet, an intuitive pipeline from the frequency domain perspective, to solve this problem. Inspired by existing frequency-domain works, we convert images into discrete cosine transform (DCT) blocks, then reform them to obtain the DCT feature maps, which serve as the input and target of our model. A specialized pipeline is designed, and we further propose a frequency loss function to fit the nature of our frequency-domain task. Our SISR method in the frequency domain can learn the high-frequency information explicitly, provide fidelity and good perceptual quality for the SR images. We further observe that our model can be merged with other spatial super-resolution models to enhance the quality of their original SR output.

研究の動機と目的

• 空間ドメインSISR手法が高周波成分を明示的に学習・検証する能力に制限を抱える問題に対処すること。
• 周波数ドメインで処理することで、超解像画像の知覚的品質および忠実度を向上させること。
• 高周波成分の周波数ドメイン再構成に特化した損失関数および指標を開発すること。
• 他のSRモデルの出力から周波数ドメイン出力を統合することで、後処理による強化を可能にすること。
• DCT特徴マップの構造をより効果的に活用できるドメイン固有の残差ブロック（DWRGおよびDRG）を設計すること。

提案手法

• 低解像度（LR）および高解像度（HR）画像をDCTブロックに変換し、DCT特徴マップに再形状することで周波数ドメイン処理を実施する。
• 二重ブランチネットワークを設計：空間特徴を抽出する空間抽出ネットワーク（SEN）と周波数ドメイン再構成を担当する周波数再構成ネットワーク（FRN）を組み合わせる。
• FRNに深さ方向残差グループ（DWRG）を、SENに可変型残差グループ（DRG）を導入し、周波数ドメインおよび空間的特徴をより効果的に捉える。
• DCTドメインにおける再構成誤差を測定する周波数ドメイン損失関数 $ L_{\text{freq}} $ を提案し、特に高周波成分に注目する。
• SENとFRNの出力を重み付き和で統合し、逆DCTを用いて最終的な周波数ドメイン予測を生成する。
• 他のSRモデルの出力から特定の高周波DCTチャンネルをFreqNetの出力に置き換えることで、モデル統合を可能にし、詳細の忠実度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 空間ドメイン手法と比較して、明示的な周波数ドメイン学習が単一画像超解像における高周波成分再構成をどのように改善できるか。
• RQ2 従来のPSNRやMSEと比較して、高周波成分忠実度をより的確に評価できる周波数ドメイン損失関数はどのように設計できるか。
• RQ3 周波数ドメイン特徴抽出に効果的なアーキテクチャ的変更は何か。また、それらは性能向上にどのように寄与するか。
• RQ4 FreqNetの出力を他のSRモデルと効果的に統合することで、高周波成分の質を向上させられるか。
• RQ5 提案された周波数ドメイン指標（FRM）は、知覚的品質および高周波成分の正確さとどの程度相関しているか。

主な発見

• $ L_{\text{freq}} $-監視下のFreqNetモデルは、Set5においてMSE監視ベースラインよりも高いPSNRおよびFRMを達成し、明確に鋭い高周波成分テクスチャを再現した。
• FRM指標はPSNRよりも高周波成分忠実度に敏感であることが示され、周波数ドメイン評価指標としての有効性が裏付けられた。
• 除去実験では、標準的な残差グループをDWRGおよびDRGに置き換えることで、Set5でPSNRが0.18 dB向上、FRMが0.27ポイント向上した。
• DWRGとDRGの併用が最良の性能（Set5で32.08 PSNR、43.56 FRM）を達成し、ドメイン固有アーキテクチャの有効性を確認した。
• GANベースのSRモデル（例：MSRResNet-GAN）の出力にFreqNetの出力を統合することで、Manga109データセットの視覚的比較でアーティファクトが低減され、高周波成分が保持された。
• 既存のSRモデルに対して、高周波DCTチャンネルを効果的に置き換えることで、再トレーニングなしに実用的な後処理による強化が可能である。