[論文レビュー] Source Generator Attribution via Inversion

Michael Albright, Scott McCloskey|arXiv (Cornell University)|Jan 1, 2019

Digital Media Forensic Detection被引用数 17

ひとこと要約

本稿では、生成過程を逆方向に処理することで、合成画像のソースとなる生成対立ネットワーク（GAN）を特定するホワイトボックス手法を提案する。入力画像を再構築するように最適化された潜在コードを用いることで、生成器の出所を同時に検証し、妥当な潜在入力を回復可能となる。これにより、合成画像の正確なソース特定が可能になる。

ABSTRACT

With advances in Generative Adversarial Networks (GANs) leading to dramatically-improved synthetic images and video, there is an increased need for algorithms which extend traditional forensics to this new category of imagery. While GANs have been shown to be helpful in a number of computer vision applications, there are other problematic uses such as `deep fakes' which necessitate such forensics. Source camera attribution algorithms using various cues have addressed this need for imagery captured by a camera, but there are fewer options for synthetic imagery. We address the problem of attributing a synthetic image to a specific generator in a white box setting, by inverting the process of generation. This enables us to simultaneously determine whether the generator produced the image and recover an input which produces a close match to the synthetic image.

研究の動機と目的

• GANによって生成された合成画像のソース生成器を特定するという、深フェイクの文脈において増大する課題に対処すること。
• 従来の画像フォレンジックスを、既存の特定手法が限界を示す合成画像分野へと拡張すること。
• 生成器の出所を同時に検証し、合成画像に一致する潜在入力を回復するホワイトボックスソリューションの開発。

提案手法

• 本手法は、GANの生成プロセスを逆方向に処理することで、与えられた合成画像を再構築するように潜在コードを最適化する。
• 生成器を通る微分可能かつ順方向のパスを用いて、潜在コード最適化のための勾配を計算する。
• 生成画像と入力の合成画像との間の再構築損失を最小化することで最適化を実行する。
• 本手法はホワイトボックス設定で動作し、生成器のアーキテクチャおよびパラメータに完全にアクセス可能であると仮定する。
• 再構築の成功は、その生成器がその画像を生成可能であったことを示し、信頼性の高いソース特定を可能にする。
• 回復された潜在コードは、生成器のための指紋として機能し、使用されたソースモデルの特定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 GANの生成プロセスを逆方向に処理することで、ホワイトボックス設定において合成画像をそのソース生成器に信頼性高く特定できるか？
• RQ2 入力の合成画像と一致する画像を生成できるだけの潜在コードを、どの程度回復できるか？
• RQ3 生成プロセスの逆方向処理が、異なるGANアーキテクチャにわたり信頼性のあるソース特定を可能にするか？

主な発見

• 本手法は、入力の合成画像に非常に近い画像を生成する潜在コードを成功裏に回復し、高い再構築忠実度を示した。
• 逆方向処理により、特定の生成器がその画像を生成可能であったかどうかを確認でき、信頼性の高いソース特定が可能となった。
• 回復された潜在コードは一意な署名として機能し、使用された特定の生成器の同定が可能となった。
• 生成器モデルへの完全なアクセスが可能なホワイトボックス設定において、本手法は有効であった。
• 本手法は、一度の最適化で生成器の出所を検証し、妥当な入力を再構築するという二重の目的を同時に達成した。