[論文レビュー] Improving the Efficiency and Robustness of Deepfakes Detection through Precise Geometric Features

Zekun Sun, Yujie Han+3 more|arXiv (Cornell University)|Apr 9, 2021

Digital Media Forensic Detection参考文献 18被引用数 10

ひとこと要約

本稿では、正確な幾何的特徴——特にキャリブレーション済み顔ランドマーク——を活用し、時間的不一致をモデル化する二重ストリームの再帰ニューラルネットワーク（RNN）を組み合わせた、軽量で頑健なディープフェイク検出フレームワークであるLRNetを提案する。ランドマークの精度を向上させるための新規キャリブレーションモジュールを導入し、時間的ダイナミクスを活用することで、FaceForensics++で0.999 AUCを達成し、高圧縮動画においても優れた性能（わずか-0.042 AUCの低下）を維持する。従来手法に比べ、効率性と頑健性の両面で優れている。

ABSTRACT

Deepfakes is a branch of malicious techniques that transplant a target face to the original one in videos, resulting in serious problems such as infringement of copyright, confusion of information, or even public panic. Previous efforts for Deepfakes videos detection mainly focused on appearance features, which have a risk of being bypassed by sophisticated manipulation, also resulting in high model complexity and sensitiveness to noise. Besides, how to mine the temporal features of manipulated videos and exploit them is still an open question. We propose an efficient and robust framework named LRNet for detecting Deepfakes videos through temporal modeling on precise geometric features. A novel calibration module is devised to enhance the precision of geometric features, making it more discriminative, and a two-stream Recurrent Neural Network (RNN) is constructed for sufficient exploitation of temporal features. Compared to previous methods, our proposed method is lighter-weighted and easier to train. Moreover, our method has shown robustness in detecting highly compressed or noise corrupted videos. Our model achieved 0.999 AUC on FaceForensics++ dataset. Meanwhile, it has a graceful decline in performance (-0.042 AUC) when faced with highly compressed videos.

研究の動機と目的

• 外見ベースのディープフェイク検出手法の限界——ノイズに敏感で、高複雑度のモデルである——を解消すること。
• 動画が圧縮されたり破損したりする現実世界のシナリオにおける頑健性を向上させること。
• 高い検出精度を維持しながら、モデルの複雑さとトレーニングコストを低減すること。
• 正確な幾何的特徴を活用して、ディープフェイク動画の時間的不一致を同定すること。
• 実世界の応用に適した、軽量で効率的かつ汎用性の高い検出フレームワークを開発すること。

提案手法

• ランドマーク検出のジタリングを低減し、特徴の識別性を向上させるために、新規のランドマークキャリブレーションモジュールを導入。
• 二重ストリームRNNを採用：一つは異常な顔の動き（g₁）を検出し、もう一つは時間的不連続性（g₂）を特定する。これにより、補完的な時間的モデリングが可能になる。
• 生画像ピクセルではなく、顔ランドマークの座標という幾何的特徴を入力とすることで、次元削減とノイズ・圧縮に対する頑健性の向上を実現。
• 入力長を効果的で頑健なバランスをとるように調整し、キャリブレーション済みランドマークのシーケンス上でエンドツーエンドでモデルをトレーニング。
• キャリブレーションモジュールにカルマンフィルタを適用し、ランドマークの軌跡を平滑化し、検出誤差に起因するノイズを低減。
• フレームワークは、生動画および圧縮動画入力を含むさまざまな条件下で、FaceForensics++データセット上で評価された。

Figure 1: Action units (AU) intensity analysis for pristine and Deepfakes video sequence. AU indicate movements of individual facial muscles that make up the facial expression. We select the two most intense action units: #7 (lid tightener) and #17 (chin raiser). As we can see, although the fake seq

実験結果

リサーチクエスチョン

• RQ1 正確な幾何的特徴、特にキャリブレーション済み顔ランドマークを用いることで、外見ベース手法と比較してディープフェイク検出の頑健性と効率性が向上するか？
• RQ2 RNNによる時間的モデリングの統合が、動画シーケンス全体にわたる微細なディープフェイクアーティファクトの検出をどのように向上させるか？
• RQ3 提案されたランドマークキャリブレーションモジュールが、ノイズや不正確なランドマーク検出器の影響をどの程度軽減するか？
• RQ4 入力シーケンス長が、さまざまな動画品質条件においてモデルの一般化性能と頑健性にどのように影響するか？
• RQ5 軽量な幾何的特徴ベースのモデルが、高負荷のディープ畳み込みネットワークやデータ拡張に依存せずに高い性能を達成できるか？

主な発見

• LRNetは、顔ランドマークの座標という幾何的特徴のみを用いて、FaceForensics++データセットで0.999 AUCを達成し、高い検出精度を示した。
• 高圧縮動画（c40）でテストした際、わずか-0.042 AUCの低下に抑えられ、優れた頑健性を示した。
• アブレーションスタディにより、キャリブレーションモジュールが性能を顕著に向上させ、異なる検出器から得たランドマークを使用しても性能低下が抑制されることを確認した。
• 二重ストリームRNNアーキテクチャは単一ストリームの変種を上回り、g₂（時間的不連続性検出）が精度向上に寄与が大きく、g₁（異常な動き）が頑健性向上に貢献した。
• 入力長60フレームが、特に圧縮条件下でも、効果性と頑健性のバランスを最適にとる最適な長さであることが判明した。
• 再トレーニングなしに、異なる検出器（OpenFace）のランドマークを使用しても、キャリブレーションモジュールを適用することで高い性能を維持した。

Figure 2: Comparison between accuracy and precision. Red landmarks (upper) are accurate but not precise. They jitter greatly even though they all attach to the contour. Green points (lower) are less accurate but precise, which describe dynamic properties better.