[論文レビュー] What makes fake images detectable? Understanding properties that generalize

Lucy Chai, David Bau+2 more|arXiv (Cornell University)|Aug 24, 2020

Digital Media Forensic Detection参考文献 36被引用数 13

ひとこと要約

この論文は、高品質な生成にもかかわらず偽の画像がディープラーニングモデルによって依然として検出可能である理由を調査する。局所的なアーティファクト、特に口や目の領域におけるもの——を、受容 field が限定されたパッチベースの分類器を用いて同定した。このアーティファクトは、多様なジェネレータ、データセット、アーキテクチャにわたり一般化する。敵対的微調整を経ても、ジェネレータは特定の画像パッチに検出可能な痕跡を残し続ける。これは、局所的な一貫性の欠如が持続することを示している。

ABSTRACT

The quality of image generation and manipulation is reaching impressive levels, making it increasingly difficult for a human to distinguish between what is real and what is fake. However, deep networks can still pick up on the subtle artifacts in these doctored images. We seek to understand what properties of fake images make them detectable and identify what generalizes across different model architectures, datasets, and variations in training. We use a patch-based classifier with limited receptive fields to visualize which regions of fake images are more easily detectable. We further show a technique to exaggerate these detectable properties and demonstrate that, even when the image generator is adversarially finetuned against a fake image classifier, it is still imperfect and leaves detectable artifacts in certain image patches. Code is available at https://chail.github.io/patch-forensics/.

研究の動機と目的

• 異なるジェネレータ、データセット、アーキテクチャにわたる偽画像検出器の一般化を可能にする画像特性を特定すること。
• グローバルな画像構造が変化しても依然として検出可能な、局所的でパッチレベルのアーティファクトを分離すること。
• 解釈可能性を高めるために、偽画像内の検出可能な特徴を視覚化および強調する手法を開発すること。
• 敵対的微調整を施したジェネレータが、検出可能なアーティファクトを完全に排除できるかどうかを評価すること。
• 画像フォーマットの標準化により、前処理に起因するアーティファクトの影響を排除し、一般化が本物の画像アーティファクトに基づくものであることを保証すること。

提案手法

• グローバルな意味的特徴ではなく、局所的な画像テクスチャに注目するため、受容 field が限定された完全畳み込み型パッチベース分類器を訓練する。
• リアルと偽の画像間のフォーマット差を最小限に抑えるための注意深い前処理を実施し、誤検出信号を回避する。
• 視覚化技術を用いて、リアルまたは偽のラベルを予測するのに最も寄与する画像パッチを同定する。
• 潜在表現の操作によりアーティファクトを強調することで、偽画像内の検出可能な特徴を誇張する。
• 事前に訓練された偽画像検出器を欺くように、GAN を敵対的微調整し、その後検出性能を再評価する。
• 複数のデータセット（例：Face2Face、FaceSwap、Deepfakes、NeuralTextures）およびモデルアーキテクチャ（ResNet、Xception、MesoInception4）を用いた一般化の検証を行う。

実験結果

リサーチクエスチョン

• RQ1 多様な画像生成モデルやデータセットにわたって、一貫して検出可能な局所的画像特性は何か？
• RQ2 パッチベース分類器は、フル画像分類器と比較して、未観測の偽画像ソースにどの程度一般化できるか？
• RQ3 GAN の敵対的微調整によって、特定の画像パッチにおける検出可能なアーティファクトを完全に排除できるか？
• RQ4 特定の最適化が施されたモデルですら、口や目の領域などの特定領域に検出可能なアーティファクトが残存するか？
• RQ5 前処理の差が検出器の一般化に与える影響は何か？また、その影響をどのように軽減できるか？

主な発見

• パッチベース分類器は、特に顔面操作タスクにおいて、ドメイン外の偽画像への一般化性能がフル画像分類器を上回る。
• Face2Face データで訓練された分類器が、他の操作手法への一般化において最も優れているが、FaceSwap への一般化は依然として特に困難である。
• 最も予測力の高いパッチは、口、目、鼻などの顔面領域に局所化されており、Face2Face に基づく検出では口が特に顕著である。
• 敵対的微調整を経ても、ジェネレータは特定の画像パッチに検出可能なアーティファクトを残し続ける。これは、局所的な一貫性の欠如が持続することを示している。
• 潜在空間の操作による特徴の誇張により、さまざまな偽画像タイプに共通する局所的パターンが一貫して明らかになる。
• 標準化された前処理により、検出器がフォーマット差に起因する特徴を学習しなくなる。これにより、一般化が本物の画像アーティファクトに基づくものであることが保証される。