[論文レビュー] Frequency Domain Image Translation: More Photo-realistic, Better Identity-preserving

Mu Cai, Hong Zhang+4 more|arXiv (Cornell University)|Nov 27, 2020

Generative Adversarial Networks and Image Synthesis被引用数 12

ひとこと要約

本稿では、周波数ドメイン画像変換（FDIT）を提案する。これは、GANベースのフレームワークであり、画像を低周波成分と高周波成分に分解することで、アイデンティティの保持と写真画質の向上を実現する。ピクセル空間およびフーリエ周波数スペクトル空間の両方で一貫性を強制することにより、先行する最先端手法と比較してFIDを5.6%低減し、顕著にアイデンティティ保持性と視覚的品質が向上する。

ABSTRACT

Image-to-image translation has been revolutionized with GAN-based methods. However, existing methods lack the ability to preserve the identity of the source domain. As a result, synthesized images can often over-adapt to the reference domain, losing important structural characteristics and suffering from suboptimal visual quality. To solve these challenges, we propose a novel frequency domain image translation (FDIT) framework, exploiting frequency information for enhancing the image generation process. Our key idea is to decompose the image into low-frequency and high-frequency components, where the high-frequency feature captures object structure akin to the identity. Our training objective facilitates the preservation of frequency information in both pixel space and Fourier spectral space. We broadly evaluate FDIT across five large-scale datasets and multiple tasks including image translation and GAN inversion. Extensive experiments and ablations show that FDIT effectively preserves the identity of the source image, and produces photo-realistic images. FDIT establishes state-of-the-art performance, reducing the average FID score by 5.6% compared to the previous best method.

研究の動機と目的

• GANベースの画像間変換におけるアイデンティティ保持の欠如、特に生成画像が参照ドメインに過剰に適合してしまう問題に対処すること。
• 既存の手法で失われる微細な構造的詳細を保持することで、写真画質を向上させること。
• ピクセル空間およびスペクトル空間の両方で周波数の一貫性を明示的に強制する訓練フレームワークを開発すること。
• 画像変換およびGAN逆問題の両タスクを含む、多様なデータセットとタスクにおいて有効性を実証すること。
• 周波数ドメイン解析を画像生成タスクにおける実用的で強力なパラダイムとして確立すること。

提案手法

• FDITは、ガウス低域通過フィルタを用いて入力画像を低周波成分（色・照明）と高周波成分（エッジ・詳細）に分解する。
• ピクセル空間の損失を適用し、入力画像と生成画像の高周波成分の類似性を強制する。
• 高速フーリエ変換（FFT）を画像に適用することでフーリエスペクトル損失を適用し、高周波スペクトルの一貫性を保証する。
• フレームワークは、条件付きGANまたはオートエナボーダアーキテクチャに周波数監視を統合し、エンドツーエンドの訓練を可能にする。
• 画像再構成および画像変換の両ステージで周波数ベースの正則化を適用する。
• 訓練を安定化させ、忠実度を向上させるために、敵対的損失、サイクル整合性損失、周波数ベース損失の組み合わせで学習を実施する。

実験結果

リサーチクエスチョン

• RQ1 周波数ドメイン正則化は、写真画質を損なうことなく、画像間変換におけるアイデンティティ保持性を向上させることができるか？
• RQ2 ピクセル空間およびスペクトル空間の両方で高周波成分の一貫性を強制すると、視覚的品質および構造的忠実度にどのような影響を与えるか？
• RQ3 FIDおよびアイデンティティとリアルリズムのユーザープ references において、FDITは既存のGANベース手法をどの程度上回るか？
• RQ4 FDITは、GAN逆問題やクロスドメイン変換を含む、多様なデータセットおよびタスクに一般化可能か？
• RQ5 ピクセル空間とスペクトル空間の周波数監視の相対的寄与度は、変換品質の向上にどの程度寄与するか？

主な発見

• FDITは、以前の最先端手法と比較して平均FIDスコアを5.6%低減し、優れた画像品質を示した。
• ユーザースタディーでは、アイデンティティ保持性においてFDITがSwapAEを75.40%の割合で上回り、画像品質においては64.39%の割合で上回った。
• ピクセル空間における高周波成分が、オブジェクトの構造とアイデンティティの保持に不可欠であることが、アブレーションスタディーで裏付けられた。
• FFT損失によるスペクトル一貫性は、微細なディテールの保持を顕著に向上させ、高周波ノイズを低減した。
• FDITは、新たに収集した2つのデータセットも含む5つの大規模データセットで、複数のタスクにわたり良好な一般化性能を示した。
• アブレーションスタディーにより、最適なパフォーマンスを得るには、ピクセル空間およびスペクトル空間の両方の周波数監視が不可欠であることが確認された。