[論文レビュー] Protecting President Zelenskyy against Deep Fakes

Matyáš Boháček, Hany Farid|arXiv (Cornell University)|Jun 24, 2022

Face Recognition and Perception被引用数 5

ひとこと要約

本論文は、ウクライナ大統領ゼレンスキーの本物の映像から8時間以上にわたる顔貌およびジェスチャー行動特徴を抽出し、IDベースのディープフェイク検出システムを提案する。特徴的な頭部および手の動きをモデル化することで、本物のゼレンスキーとディープフェイク模倣者を99.88％の正確性で区別でき、紛争地域におけるフェイクニュース対策として強固な防御を提供する。

ABSTRACT

The 2022 Russian invasion of Ukraine is being fought on two fronts: a brutal ground war and a duplicitous disinformation campaign designed to conceal and justify Russia's actions. This campaign includes at least one example of a deep-fake video purportedly showing Ukrainian President Zelenskyy admitting defeat and surrendering. In anticipation of future attacks of this form, we describe a facial and gestural behavioral model that captures distinctive characteristics of Zelenskyy's speaking style. Trained on over eight hours of authentic video from four different settings, we show that this behavioral model can distinguish Zelenskyy from deep-fake imposters.This model can play an important role -- particularly during the fog of war -- in distinguishing the real from the fake.

研究の動機と目的

• 戦時における世界の指導者を標的としたディープフェイク動画の脅威に対処すること、特にロシアのウクライナ侵攻期におけるフェイクニュースキャンペーンを想定する。
• 特定の高価値個人を対象とした、行動バイオメトリクスを活用した、本物と合成メディアを区別できる耐障害性の高い、ID特化型の検出システムを開発すること。
• 従来の顔面ベースのディープフェイク検出を、動的ジェスチャー特徴を組み合わせることで改善し、スプーフィングに対してより強固で識別力の高い性能を実現すること。
• 危機時における主要政治的指導者を高インパクトのフェイクニュースから守るための実用的で展開可能な防御メカニズムを構築すること。

提案手法

• 4つの異なる文脈（公式演説、報道ブリーフィング、地下壕での登場、非公式インタビュー）におけるゼレンスキーの本物の映像を合計506分収集・分析した。
• 2次元および3次元顔面ランドマークから、3次元頭部姿勢（Rx, Ry, Rz）、手関節位置（肘、手首、肩）、顔面アクションユニット（AUs）を含む、合計496の顔貌およびジェスチャー特徴を抽出した。
• 顔貌およびジェスチャー特徴の組み合わせを用いて、本物のゼレンスキーとディープフェイク模倣者、および他の世界指導者を区別するためのバイナリ分類器を訓練した。
• 本物のゼレンスキー、ディープフェイクゼレンスキー、および他の世界指導者の動画を含むホールドアウトテストセットを用いて、モデルの汎化性能と特異性を評価した。
• 500回のランダムな特徴サブセット試行を通じて、頭部運動と手のジェスチャーの相関が最も判別に寄与する特徴ペアを同定した。
• 500個の分類器における中央値正確度を用いて特徴の重要度を順位付けし、頭部姿勢と手の動きの相関が最も予測に寄与することが明らかになった。

実験結果

リサーチクエスチョン

• RQ1 本物のゼレンスキーの映像のみを用いて、行動に基づいたID特化型モデルが、彼のディープフェイク動画を効果的に検出できるか？
• RQ2 顔貌の特徴とジェスチャー特徴を併用することで、顔面特徴のみを用いる場合と比較して、ディープフェイク検出の正確性はどの程度向上するか？
• RQ3 特に頭部と手の動きの相関が最も判別に寄与する特徴であるが、その寄与度は検出性能にどの程度影響を与えるか？
• RQ4 他の世界指導者の動画およびディープフェイクゼレンスキーをテストセットに含めた場合、モデルの汎化性能はどの程度保たれるか？
• RQ5 高い検出正確性を達成するために必要な最小特徴数は何か？また、特徴セットのサイズに応じて性能はどのように変化するか？

主な発見

• 496個の顔貌およびジェスチャー特徴をすべて使用した場合、本物のゼレンスキーと偽物の区別において99.88％の検出正確度を達成し、本物と偽物の区別がほぼ完璧に行えることを示した。
• 400個の特徴を使用した場合、正確度は99.52％に達し、中程度の特徴セットサイズで性能が頭打ちになることが示され、特徴の使用効率が非常に高いことがわかった。
• 最も判別に寄与する上位10個の特徴ペア（例：頭部姿勢-Rxと右肘-y）を用いた分類器では44.4％の正確度を達成し、ランダムな特徴サブセット（中央値8.4％）をはるかに上回る性能を示した。
• 頭部回転（例：うなずき）とジェスチャーの相関が、最も予測に寄与する信号であることが判明し、マルチモーダル行動モデリングの重要性が強調された。
• 上位20個の特徴のみを用いた1つの分類器でも63.4％の正確度を達成したが、これは、高い性能を実現するには包括的な特徴セットの必要性を示している。
• 多様な文脈においてもモデルの性能が安定しており、異なる話し方や状況下でも行動モデルの汎化性能が優れていることが示された。