[論文レビュー] Exposing Deep Fakes Using Inconsistent Head Poses

Xin Yang, Yuezun Li+1 more|arXiv (Cornell University)|Nov 1, 2018

Digital Media Forensic Detection参考文献 2被引用数 22

ひとこと要約

本稿では、AI生成画像における中央顔領域と全体顔領域の間の一貫性のない頭部姿勢を活用したディープフェイク検出手法を提案する。顔の特徴点から3次元頭部姿勢を推定し、全体顔と中央領域からそれぞれ得られる姿勢の差を測定することで、SVM分類器の特徴として用いる。UADFVデータセットでは89%のAUROC、DARPA GANチャレンジデータセットでは84.3%のAUROCを達成した。

ABSTRACT

In this paper, we propose a new method to expose AI-generated fake face images or videos (commonly known as the Deep Fakes). Our method is based on the observations that Deep Fakes are created by splicing synthesized face region into the original image, and in doing so, introducing errors that can be revealed when 3D head poses are estimated from the face images. We perform experiments to demonstrate this phenomenon and further develop a classification method based on this cue. Using features based on this cue, an SVM classifier is evaluated using a set of real face images and Deep Fakes.

研究の動機と目的

• 公衆を誤導するAI生成のディープフェイク動画・画像の増加する脅威に対処すること。
• 特に顔の特徴点の一貫性に問題を抱えるディープフェイク生成パイプラインの内在的欠陥を特定すること。
• 頭部姿勢推定における幾何的不一致に基づいた、強固で一般化可能な検出手法を開発すること。
• 姿勢に基づく特徴が、本物と偽物の顔画像を区別する能力についての有効性を評価すること。

提案手法

• 2次元顔特徴点を用いて、3次元平均顔モデルと組み合わせたPerspective-n-Point（PnP）アルゴリズムにより3次元頭部姿勢を推定する。
• 顔全体の特徴点（全体顔）と中央部特徴点（中央領域）のそれぞれから別々に頭部姿勢を計算し、得られた回転ベクトルと並進ベクトルを比較する。
• 2つの姿勢推定値の差を特徴ベクトルとして計算し、回転行列の差（R_a - R_c）と並進ベクトルの差（t_a - t_c）を含む。
• 特徴ベクトルのロバスト性を高めるために、平均を引いて標準偏差で割る標準化処理を実施する。
• グリッドサーチと5分割交差検証を用いて、RBFカーネルを用いたSVM分類器を特徴ベクトルで学習する。
• UADFVおよびDARPA GANチャレンジデータセットからの本物およびディープフェイクの画像／動画フレームを用いて、AUROCを指標に性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 中央顔領域と全体顔領域の間の頭部姿勢推定の不一致は、ディープフェイクの操作を明らかにできるか？
• RQ2 3次元頭部姿勢推定における幾何的不一致は、ディープフェイク生成アーティファクトとどのように相関するか？
• RQ3 回転ベクトル、回転行列、並進差のうち、どの特徴表現が、ディープフェイク検出における姿勢不一致を最もよく捉えるか？
• RQ4 UADFVやDARPA GANチャレンジのような多様なディープフェイクデータセットにおいて、姿勢ベースの検出手法の性能はどのように比較できるか？
• RQ5 回転と並進の両方の差分特徴を組み合わせることで、検出精度が向上するか？

主な発見

• 本手法はUADFVデータセットで0.89のAUROCを達成し、姿勢不一致を特徴として用いることで強力な検出性能を示した。
• DARPA GANチャレンジデータセットでは0.843のAUROCを達成したが、ぼやけた合成顔画像が特徴点検出に影響を与え、性能が低かったとされる。
• 回転行列の差（R_a - R_c）と並進ベクトルの差（t_a - t_c）を組み合わせた特徴が、フレームレベル分析で最高のAUROC0.890、動画レベル分析で0.974を記録した。
• アブレーションスタディの結果、並進差を含めることで性能が顕著に向上し、v_a - v_cにt_a - t_cを追加することでAUROCが0.866から0.890に上昇した。
• Rodriguesの回転ベクトル（r_a - r_c）を用いることでAUROCが0.798に上昇したが、簡易的な頭部姿勢ベクトルのみを用いた場合の0.738より良好であった。
• 動画レベル分類がフレームレベル分類を上回り、R_a - R_cとt_a - t_cを組み合わせた場合、AUROCが0.974に達した。これは時間的整合性が検出を強化することを示している。