[論文レビュー] Exposing Deep-faked Videos by Anomalous Co-motion Pattern Detection

Gengxing Wang, Jiahuan Zhou+1 more|arXiv (Cornell University)|Aug 11, 2020

Digital Media Forensic Detection参考文献 58被引用数 19

ひとこと要約

本稿では、顔面キーポintsの軌跡から導出される2次運動記述子である異常な共運動パターンを分析することで、深層偽造動画を完全に解釈可能に検出する手法を提案する。局所的な運動の一貫性を顔面部品間でモデル化することで、改ざん動画における不自然な時間的相関を特定し、圧縮や低品質な状態下でも最先端の性能を達成する。

ABSTRACT

Recent deep learning based video synthesis approaches, in particular with applications that can forge identities such as "DeepFake", have raised great security concerns. Therefore, corresponding deep forensic methods are proposed to tackle this problem. However, existing methods are either based on unexplainable deep networks which greatly degrades the principal interpretability factor to media forensic, or rely on fragile image statistics such as noise pattern, which in real-world scenarios can be easily deteriorated by data compression. In this paper, we propose an fully-interpretable video forensic method that is designed specifically to expose deep-faked videos. To enhance generalizability on videos with various content, we model the temporal motion of multiple specific spatial locations in the videos to extract a robust and reliable representation, called Co-Motion Pattern. Such kind of conjoint pattern is mined across local motion features which is independent of the video contents so that the instance-wise variation can also be largely alleviated. More importantly, our proposed co-motion pattern possesses both superior interpretability and sufficient robustness against data compression for deep-faked videos. We conduct extensive experiments to empirically demonstrate the superiority and effectiveness of our approach under both classification and anomaly detection evaluation settings against the state-of-the-art deep forensic methods.

研究の動機と目的

• 説明不能な深層ネットワークや脆弱な画像統計に依存する既存の深層偽造検出手法における解釈不能性と頑健性の欠如に対処する。
• 動画圧縮や低解像度条件下で性能が著しく低下する既存手法の限界を克服する。
• 多様な動画コンテンツや改ざん手法に一般化可能な、運動に基づくフォレンジック手法を開発する。
• 明示的で解釈可能な推論を可能にし、バイナリ分類と異常検出の両方を実現する深層偽造動画同定手法を提供する。
• 圧縮やノイズなどの実世界の動画歪みに対して頑健でありながら、高い検出精度を維持することを保証する。

提案手法

• 連続する動画フレームにおいて、51個の顔面キーポイント位置でオプティカルフローまたはランドマークトラッキングを用いて2次元の運動特徴を推定する。
• 空間的に整合性のあるクラスタ（例：目、眉、唇）に運動特徴をグループ化することで、ノイズ低減と一般化性能の向上を図る。
• 各フレームに対して、グループ化された運動特徴間のペアワイズピアソン相関を計算し、相関行列（共運動パターン）を構築する。
• グループ化の性能に基づいて各フレームレベルの共運動パターンに重み付けを行い、頑健でコンactなビデオレベル表現を形成する。
• 重み付けされた共運動パターンの系列を、動画の真正性分類または異常検出のための判別的記述子として用いる。
• 可視化のため[0,1]に正規化するが、実験における最適な識別性能を確保するため、元のスケールを保持する。

実験結果

リサーチクエスチョン

• RQ1 圧縮やノイズに強く、かつ解釈可能であるような運動記述子を設計できるか？
• RQ2 共運動パターンは、多様な動画コンテンツにおいて、人間の顔面運動の自然な一貫性を効果的に捉えられるか？
• RQ3 NeuralTextures や Face2Face といった高度な手法で改ざんされた動画に対しても、共運動パターンは深層偽造動画を検出できるか？
• RQ4 本手法は、異なる改ざんデータセットや動画品質レベルにおいて、どれほど一般化性能を示すか？
• RQ5 共運動パターンは、上唇と下唇の間の負の相関の喪失といった、解釈可能な異常をどれほど明確に露わにするか？

主な発見

• クロスデータセット評価において、NeuralTextures データセットで95.85%の精度を達成し、改ざん手法の多様性にわたる強力な一般化性能を示した。
• FaceSwap で学習し、Face2Face でテストした場合でも84.95%の高い精度を維持しており、異なる改ざんスタイルに対しても頑健であることが示された。
• 実動画からの平均化された共運動パターンは、一貫した部品ごとの運動相関（例：目が同時に動く）を示すが、改ざん動画ではこのようなパターンが保持されない。
• 自然な会話動作を示す上唇と下唇の間の負の相関が、深層偽造動画では顕著に弱体化または消失しており、明確な解釈可能な信号を提供する。
• 図8に示すように、共運動パターンはフレーム間で素早く収束する（図8参照）ことから、2次運動記述子の安定性と信頼性が確認された。
• 特に圧縮や低品質な条件下でも、最先端の深層学習ベースのフォレンジックモデルを上回る性能を、分類と異常検出の両設定で示した。