[論文レビュー] FakePolisher: Making DeepFakes More Detection-Evasive by Shallow Reconstruction

Yihao Huang, Felix Juefei-Xu+8 more|arXiv (Cornell University)|Jun 13, 2020

Generative Adversarial Networks and Image Synthesis参考文献 53被引用数 6

ひとこと要約

FakePolisher は、学習された線形辞書を用いた浅い再構成により、DeepFakes における検出可能なアーティファクトを低減する後処理手法であり、GAN 由来のアップサンプリングアーティファクトを除去することで、最新の検出手法の性能を著しく低下させる。GAN の元のアーキテクチャを知る必要がないにもかかわらず、平均で 47% の精度低下を達成し、最悪の場合には 93% の低下をもたらす。

ABSTRACT

At this moment, GAN-based image generation methods are still imperfect, whose upsampling design has limitations in leaving some certain artifact patterns in the synthesized image. Such artifact patterns can be easily exploited (by recent methods) for difference detection of real and GAN-synthesized images. However, the existing detection methods put much emphasis on the artifact patterns, which can become futile if such artifact patterns were reduced. Towards reducing the artifacts in the synthesized images, in this paper, we devise a simple yet powerful approach termed FakePolisher that performs shallow reconstruction of fake images through a learned linear dictionary, intending to effectively and efficiently reduce the artifacts introduced during image synthesis. The comprehensive evaluation on 3 state-of-the-art DeepFake detection methods and fake images generated by 16 popular GAN-based fake image generation techniques, demonstrates the effectiveness of our technique.Overall, through reducing artifact patterns, our technique significantly reduces the accuracy of the 3 state-of-the-art fake image detection methods, i.e., 47% on average and up to 93% in the worst case.

研究の動機と目的

• 現在の DeepFake 検出手法が、特にアップサンプリング操作によって生じる GAN 由来のアーティファクトに強く依存しているという脆弱性に対処すること。
• 元の GAN モデルや学習データにアクセスする必要がない、軽量な後処理手法を開発すること。
• さまざまな GAN に基づく偽物画像生成手法と検出モデルを対象に、アーティファクト低減の検出回避効果を評価すること。
• 現在の検出手法が特定の GAN アーティファクトに依存していることの限界を示し、より汎用的な検出アプローチの必要性を提起すること。

提案手法

• K-SVD や PCA を用いて辞書学習を行うことで、実画像から自然な画像パターンを捉えた線形辞書モデルを学習する。
• 線形射影またはスパースコーディングにより、DeepFake 画像を学習済みの低次元部分空間に射影し、コンact表現を取得する。
• 低ランク表現から再構成することで、『偽物なし』の画像を合成し、アーティファクトパターンを効果的に除去する。
• 元の生成プロセスを変更せずに、16 種類の異なる GAN アーキテクチャで生成された偽物画像に対して、再構成手法を後処理として適用する。
• PCA と K-SVD の両方を用いて再構成することで、異なる線形再構成手法の性能と耐性を比較する。
• 複数のデータセットで、3 つの最新の検出モデルに対して再構成画像を評価し、完全再構成と部分再構成の両方のシナリオを検証する。

実験結果

リサーチクエスチョン

• RQ1 学習された辞書を用いた浅い再構成は、GAN 生成偽物画像における検出可能なアーティファクトを効果的に低減できるか？
• RQ2 この手法は、最新の DeepFake 検出モデルの性能をどの程度低下させられるか？
• RQ3 局所的に変更された画像に対して部分再構成が、画像の類似性を保ちながら検出回避に優れているか？
• RQ4 PCA と K-SVD のような異なる再構成手法は、アーティファクト除去と検出回避においてどのように比較されるか？
• RQ5 現在の検出手法はどの程度 GAN 特有のアーティファクトに依存しており、その一般化性能は向上可能か？

主な発見

• FakePolisher は、3 つの最新の DeepFake 検出器の平均検出精度を 47% 低下させ、最悪ケースでは最大 93% の低下をもたらした。
• 視覚的および周波数ドメイン分析により、チェッカーパターンや周波数領域における明るいブロブといった目立つアーティファクトが効果的に除去されたことが確認された。
• 部分再構成は、元の偽物画像との類似性をより良く保ちながら、完全再構成を上回る性能を示した。PSNR、SSIM、COSS スコアが向上した。
• 再構成画像は高い視覚的整合性を維持しており、COSS スコアは 0.999 を超え、PCA では PSNR が 35 を超え、K-SVD では 38 を超えた。
• StyleGAN、ProGAN、CycleGAN、StarGAN など、複数の GAN アーキテクチャにわたり、検出精度の低下が一貫して観察された。これは、本手法の広範な適用可能性を示している。
• 結果から、現在の検出手法が GAN 特有のアーティファクトに極めて感受性を示しており、一般化性能と耐性に深刻な限界があることが明らかになった。