[論文レビュー] Interpretable Deepfake Detection via Dynamic Prototypes.

Loc Trinh, Michael Tsang+2 more|arXiv (Cornell University)|Jun 28, 2020

Generative Adversarial Networks and Image Synthesis参考文献 27被引用数 5

ひとこと要約

本稿では、動的プロトタイプを用いて動画内の時間的視覚的ダイナミクスを捉え、説明可能な動画偽造検出モデルである Dynamic Prototype Network (DPNet) を提案する。フレームレベルの特徴を進化するプロトタイプとしてモデル化することで、最先端の検出性能を達成するとともに、真値との説明の整合性が高く、時間論理の仕様を用いた形式的検証も可能となる。

ABSTRACT

Deepfake is one notorious application of deep learning research, leading to massive amounts of video content on social media ridden with malicious intent. Therefore detecting deepfake videos has emerged as one of the most pressing challenges in AI research. Most state-of-the-art deepfake solutions are based on black-box models that process videos frame-by-frame for inference, and they do not consider temporal dynamics, which are key for detecting and explaining deepfake videos by humans. To this end, we propose Dynamic Prototype Network (DPNet) - a simple, interpretable, yet effective solution that leverages dynamic representations (i.e., prototypes) to explain deepfake visual dynamics. Experiment results show that the explanations of DPNet provide better overlap with the ground truth than state-of-the-art methods with comparable prediction performance. Furthermore, we formulate temporal logic specifications based on these prototypes to check the compliance of our model to desired temporal behaviors.

研究の動機と目的

• フレームを独立して処理するブラックボックス型の偽造検出モデルにおける解釈不能性の問題に対処すること。
• 偽造動画における時間的ダイナミクスをモデル化し、より正確で説明可能な検出を実現すること。
• 動的視覚プロトタイプを学習することで、人間が理解可能な説明を生成する手法を開発すること。
• プロトタイプから導出された時間論理の仕様を用いて、モデルの挙動を形式的に検証できること。

提案手法

• DPNetは、動画フレーム間で変化する視覚的パターンを表す動的プロトタイプを学習する。
• フレームからの特徴表現を用いて、推論中に動的にプロトタイプを更新する。
• プロトタイプ類似度に基づいてフレームの重要性を重みづけするプロトタイプベースのアテンション機構を採用する。
• 時間論理の仕様を自動的にプロトタイプから生成し、望ましい挙動特性の検証に用いる。
• 検出と説明を統合した一貫性のあるエンドツーエンド学習可能なアーキテクチャを構築する。
• 説明は、偽造を示唆する領域やフレームを最も強く示すプロトタイプ活性マップから導出される。

実験結果

リサーチクエスチョン

• RQ1 動的プロトタイプは、高い精度を維持しつつ、偽造検出モデルの解釈性を向上させることができるか？
• RQ2 プロトタイプに基づく説明は、人間がアノテートした真値とどの程度一致するか？
• RQ3 プロトタイプから導出された時間論理の仕様は、モデルが期待される時間的挙動を守っていることを検証できるか？
• RQ4 フレームごとのベースラインと比較して、時間的ダイナミクスをモデル化することで、検出性能がどの程度向上するか？
• RQ5 モデルの説明を形式的検証によってその推論を検証できるか？

主な発見

• DPNetは、最先端のブラックボックスモデルと同等の検出性能を達成する。
• DPNetが生成する説明は、既存の手法と比較して真値アノテーションとの重複が顕著に高い。
• プロトタイプに基づく説明は、偽造アーティファクトが顕著に現れる空間的・時間的領域を効果的に特定する。
• プロトタイプから導出された時間論理の仕様は、モデル予測における望ましい挙動パターンを成功裏に検証した。
• 動的プロトタイプ機構により、正確な検出と忠実で人間が理解可能な説明の両方が実現された。