[論文レビュー] BiHPF: Bilateral High-Pass Filters for Robust Deepfake Detection

Yonghyun Jeong, Doyeon Kim+4 more|arXiv (Cornell University)|Aug 16, 2021

Generative Adversarial Networks and Image Synthesis被引用数 7

ひとこと要約

本稿では、GANによって生成された画像に特有の周波数ドメインアーティファクトを強調することで、深人造成画像検出におけるクロスドメイン一般化を向上させる、新しい二重ハイパスフィルタリング機構BiHPFを提案する。周波数レベルと画素レベルのハイパスフィルタリングを組み合わせることで、未学習のGANモデル、物体カテゴリ、色の操作に対しても検出のロバスト性が向上し、ドメインシフト下でも最先端の性能を達成する。

ABSTRACT

The advancement in numerous generative models has a two-fold effect: a simple and easy generation of realistic synthesized images, but also an increased risk of malicious abuse of those images. Thus, it is important to develop a generalized detector for synthesized images of any GAN model or object category, including those unseen during the training phase. However, the conventional methods heavily depend on the training settings, which cause a dramatic decline in performance when tested with unknown domains. To resolve the issue and obtain a generalized detection ability, we propose Bilateral High-Pass Filters (BiHPF), which amplify the effect of the frequency-level artifacts that are known to be found in the synthesized images of generative models. Numerous experimental results validate that our method outperforms other state-of-the-art methods, even when tested with unseen domains.

研究の動機と目的

• 多様なGANモデル、物体カテゴリ、色の操作を含む未学習ドメインにおいても良好に動作する一般化された深人造成画像検出の実現を満たす必要性に対応する。
• 学習分布外のデータで顕著な性能低下を示す既存手法の限界を克服する。
• 合成画像に共通して見られる一般化可能な周波数ドメインアーティファクトを同定し、それを検出の根拠として活用する。
• ドメイン特異的特徴や複雑なアーキテクチャに依存せずに、アーティファクトの可視性を向上させる単純ながらも効果的なフィルタリング機構を開発する。
• 顔画像および非顔画像両方の検出で最先端の性能を達成するとともに、強力なクロスドメイン一般化を維持する。

提案手法

• 二重段階のフィルタリング機構としての二重ハイパスフィルタ（BiHPF）を提案：周波数レベルのハイパスフィルタ（HPF）により高周波数アーティファクトを強調し、ラプラシアン・オブ・ガウス（LoG）フィルタを用いた画素レベルのHPFによりエッジおよび背景アーティファクトを強調する。
• 敵対的学習により分類ネットワークを訓練し、アーティファクト圧縮マップを生成する。このマップを用いて、GAN生成画像内の周波数ドメインアーティファクトを同定および分離する。
• BiHPFを適用した後、画像のフーリエ変換による大きさスペクトルを分類器の入力とし、アーティファクトが最も顕著に現れる高周波成分に注目する。
• 周波数レベルのHPFはカットオフ周波数 $w_c$ で制御され、画素レベルのHPFはLoGフィルタの分散 $\sigma^2$ で制御され、アブレーションにより $\sigma = 0.01$ が最適であると特定された。
• RGBおよびグレースケール画像の両方に対してBiHPF処理を適用し、色情報がクロスドメイン性能に与える影響を評価する。
• バックボーンネットワークとしてResNet-50を用い、精度（Acc.）および平均適合度（A.P.）を用いてテストセットおよびクロスドメインセットでの性能を測定する。

実験結果

リサーチクエスチョン

• RQ1 GAN生成画像における周波数ドメインアーティファクトは、一貫してクロスドメイン深人造成画像検出の向上に利用可能か？
• RQ2 周波数レベルと画素レベルのハイパスフィルタリングの組み合わせは、多様なGANモデルおよび画像カテゴリにわたる検出のロバスト性をどのように向上させるか？
• RQ3 入力画像の色情報は、深人造成検出器の一般化性能をどの程度阻害するか？
• RQ4 LoGフィルタの分散 $\sigma$ などのハイパーパrameterに検出性能はどの程度感受的か？
• RQ5 ローパスフィルタで高周波成分を除去することで検出性能が著しく低下するか？これにより、高周波成分の重要性が確認されるか？

主な発見

• RGB画像を入力として使用した場合、BiHPFはテストカテゴリで99.6%の精度および99.5%の平均適合度を達成し、強力なドメイン内性能を示した。
• 未学習のクロスカテゴリでは、周波数レベルの大きさスペクトルを入力とすると、BiHPFは68.2%の精度および68.1%の平均適合度を達成し、ベースライン手法を顕著に上回った。
• LoGフィルタの最適ハイパーパrameterは $\sigma = 0.01$ であり、この値から逸脱すると性能が低下し、特にクロスドメイン設定で顕著に顕われた。
• 周波数レベルのHPFをローパスフィルタに置き換えると、性能が著しく低下し、高周波成分がGANアーティファクト検出に不可欠であることが確認された。
• グレースケール入力はRGB入力よりもクロスドメイン性能が向上し、76.1%の精度および75.3%の平均適合度を達成した。これは、色情報がドメイン特異的バイアスを導入し、一般化性能を低下させることを示唆している。
• 周波数レベルのHPFは画素レベルのHPFよりも性能向上に寄与が大きく、フーリエドメインで高周波アーティファクトを強調することが重要であることが裏付けられた。