[論文レビュー] Detecting Photoshopped Faces by Scripting Photoshop

Sheng-Yu Wang, Oliver Wang+3 more|arXiv (Cornell University)|Jun 13, 2019

Digital Media Forensic Detection参考文献 38被引用数 28

ひとこと要約

この論文では、PhotoshopのFace-Aware Liquifyツールを用いて自動生成された偽画像で訓練されたCNNを用いて、画像内の顔の歪みを検出し、元の状態に「元に戻す」深層学習手法を提案している。モデルは、人間を上回る精度で微細な改ざんを検出でき、正確に編集領域を特定し、実際のアーティストによる偽造画像に対しても、歪みを元に戻すことで元の画像を再構築できる。

ABSTRACT

Most malicious photo manipulations are created using standard image editing tools, such as Adobe Photoshop. We present a method for detecting one very popular Photoshop manipulation -- image warping applied to human faces -- using a model trained entirely using fake images that were automatically generated by scripting Photoshop itself. We show that our model outperforms humans at the task of recognizing manipulated images, can predict the specific location of edits, and in some cases can be used to "undo" a manipulation to reconstruct the original, unedited image. We demonstrate that the system can be successfully applied to real, artist-created image manipulations.

研究の動機と目的

• 顔の歪み改ざん——一般的ではあるが検出が難しい画像改ざんの一種——を検出すること。
• 画像フォレンジックスの分野でラベル付き学習データが不足している問題に対処するため、Photoshopスクリプトを用いてリアルな偽画像を自動生成すること。
• 改ざんを検出するだけでなく、局所的な変形場を予測し、画像再構築を可能にするモデルを開発すること。
• JPEG圧縮やSNS再アップロードなどの実世界の後処理に対して、モデルの耐性を評価すること。
• GANベースのディープフェイクにとどまらず、標準的なツール（例：Photoshop）で行われる一般的で微細な編集に対しても、フォレンジックス検出を拡張すること。

提案手法

• 実際の顔画像の大量データセット（FlickrおよびOpen Imagesから収集）を、元データとして使用する。
• PhotoshopのFace-Aware Liquifyツールをスクリプト化し、ランダムで高レベルの意味的歪み操作（例：鼻の幅を拡大、目の間隔を縮小）を適用して、リアルな偽学習画像を自動生成する。
• ペアドされた本物・偽物画像セットを用いてCNNを訓練し、フローワーピング、相対的歪み保存、ピクセル単位の再構築損失を組み合わせることで、グローバルな改ざん検出と局所的な歪み場の予測を実現する。
• 局所的予測モデルは、空間的精度を向上させるためにマルチ損失目的関数を用いる。
• システムは、検出された編集を強調する可視化オーバーレイを生成し、逆方向の歪みを適用することで元の画像を再構築を試みる。
• 本モデルは、Facetune や Snapchat Lens Studio で作成された実際の改ざん画像に対しても評価され、訓練時に使用したツール以外の編集に対しても汎用性を示した。

実験結果

リサーチクエスチョン

• RQ1 人間によるラベル付き学習データが一切ない状況でも、自動生成された偽画像のみでトレーニングされた深層学習モデルは、顔の歪み改ざんを高い精度で検出できるか？
• RQ2 モデルは、画像再構築を可能にするために、歪み領域を十分な精度で特定できるか？
• RQ3 本番のアーティストによる改ざん（トレーニング時とは異なる）に対して、モデルはどの程度の性能を示すか？
• RQ4 JPEG圧縮やSNS再アップロードなどの後処理に対して、モデルの耐性はどの程度か？
• RQ5 Facetune や Snapchat Lens Studio などの他の編集ツールで行われた歪みに対しても、モデルは汎用的に適用可能か？

主な発見

• データ拡張を施した低解像度テストセットでは、モデルの正確性が67.0%、平均適合率（AP）が79.6%に達し、人間の性能（53.5%の正確性）を大きく上回った。
• 局所的予測モデルは、平均EPE（End-Point Error）が0.91を記録し、変形場を予測する空間的精度が非常に高いことを示した。
• Facebookで処理済みの画像に対しては、データ拡張を施したモデルが強い性能（67.0%の正確性、79.6%のAP）を維持したが、高解像度モデルは一般化に失敗した。
• アーティストによるテストセットでは、平均PSNRが+2.21 dB向上し、部分的ではあるが有意義な画像回復が実現した。
• Photoshop以外のツール（例：Facetune や Snapchat Lens Studio）で行われた編集に対しても、モデルは妥当な「元に戻し」予測を生成し、訓練時に使用したツールを超えた汎用性を示した。
• 極端な分布外の編集（例：髪や体に一般的なLiquifyツールを適用）に対しては失敗したが、それでも確率的性能を上回る（64.0%の正確性、85.6%のAP）結果を示し、ある程度の耐性があることが示された。