[論文レビュー] Focal Frequency Loss for Image Reconstruction and Synthesis

Liming Jiang, Bo Dai+2 more|arXiv (Cornell University)|Dec 23, 2020

Advanced Vision and Imaging参考文献 78被引用数 29

ひとこと要約

本稿では、動的スペクトル重み行列を用いて容易な周波数を低減することで、画像生成中に合成が難しい高周波成分を適応的に強調する、新規の周波数ドメイン損失関数である焦点周波数損失（FFL）を提案する。FFLは、VAE、pix2pix、SPADE、StyleGAN2を含む多様なモデルにおいて、実画像と生成画像の周波数ドメインギャップを狭めることで、知覚的品質と定量的指標を向上させる。

ABSTRACT

Image reconstruction and synthesis have witnessed remarkable progress thanks to the development of generative models. Nonetheless, gaps could still exist between the real and generated images, especially in the frequency domain. In this study, we show that narrowing gaps in the frequency domain can ameliorate image reconstruction and synthesis quality further. We propose a novel focal frequency loss, which allows a model to adaptively focus on frequency components that are hard to synthesize by down-weighting the easy ones. This objective function is complementary to existing spatial losses, offering great impedance against the loss of important frequency information due to the inherent bias of neural networks. We demonstrate the versatility and effectiveness of focal frequency loss to improve popular models, such as VAE, pix2pix, and SPADE, in both perceptual quality and quantitative performance. We further show its potential on StyleGAN2.

研究の動機と目的

• 実画像と生成画像の周波数ドメインにおける持続的ギャップ、特に高周波成分の損失やチェス盤模様のようなアーティファクトの解消。
• ニューラルネットワークのスペクトルバイアス（低周波成分の学習を好む傾向）を克服し、合成が難しい高周波成分を無視しないようにする。
• 訓練中に困難な周波数成分に適応的に注目できる周波数ドメイン損失関数の開発。
• 空間ドメイン損失（例：知覚的損失、L1/L2損失）を補完するように、周波数表現を直接最適化することで、画像再構成および合成品質の向上。
• FFLの汎用性と有効性を、自己符号化器、GAN、スタイリングベースの生成器を含む多様なアーキテクチャで実証。

提案手法

• 離散フーリエ変換（DFT）を用いて、入力画像と生成画像を周波数表現に変換し、振幅と位相の両方の情報を捉える。
• 各周波数成分を、大きさと位相を組み合わせた2次元ベクトルとして表現し、周波数ドメインにおける統合最適化を可能にする。
• 実画像と生成画像の周波数ベクトル間のスケーリングされたユークリッド距離を定義し、スペクトル差違を測定。
• 訓練中に容易な周波数（低損失）を低減し、困難な周波数（高損失）を強調するための動的スペクトル重み行列を導入。
• 周波数ドメイン損失にフォーカス損失風の重み付けを適用し、非一様分布により困難な周波数成分に適応的に注目できるようにする。
• 既存の空間損失（例：知覚的損失、L1/L2損失）と組み合わせてFFLを補助的目的として統合し、全体の訓練安定性と品質を向上。

実験結果

リサーチクエスチョン

• RQ1 空間ドメイン損失を超えて、周波数ドメインでの最適化が画像再構成および合成品質の向上に寄与するか？
• RQ2 ニューラルネットワークのスペクトルバイアスが、生成画像における高周波成分の学習をどの程度妨げるか？
• RQ3 困難な周波数に適応的に注目する周波数に敏感な損失関数が、知覚的に優れた結果と定量的に改善された結果をもたらすか？
• RQ4 FFLは、VAE、pix2pix、SPADE、StyleGAN2を含む多様なアーキテクチャでどの程度の性能を示すか？
• RQ5 FFLは、GAN生成画像に一般的に見られる周期的アーティファクトやスペクトル歪みを効果的に低減するか？

主な発見

• FFLはFIDスコアを顕著に改善：CelebA-HQ（1024×1024）において、StyleGAN2にFFLを適用した場合、FIDは3.374に低下し、元のモデルの3.733を上回る。
• エッジ→靴の画像変換タスクでは、FIDが80.279（ベースライン）から74.359に低下し、ISは2.674から2.804に向上。
• アニメポートレート（64×64）では、PSNRが19.885から20.657に、SSIMが0.575から0.628に向上し、LFDは14.822から14.644に低下。
• 視覚的分析により、FFLが周波数ドメインギャップを狭めることを確認：FFLで訓練されたVAEは、もはや周波数領域の限定的領域に偏らず、高周波成分の詳細を回復。
• FFLにより、ベースラインモデルで消失する周期的構造（例：周期的パターン）を含む重要なスペクトルパターンが再現可能となり、周波数忠実度の向上を示す。
• トランクレーションなしでも、StyleGAN2にFFLを適用した場合、目や歯のアーティファクトが少なく、写真のようなリアルな画像が生成され、詳細の合成が向上していることを確認。