[論文レビュー] Use of a Capsule Network to Detect Fake Images and Videos

Huy H. Nguyen, Junichi Yamagishi+1 more|arXiv (Cornell University)|Oct 28, 2019

Digital Media Forensic Detection参考文献 69被引用数 132

ひとこと要約

本論文は Capsule-Forensics を提案する。カプセルネットワークベースの検出器がさまざまな偽画像/動画攻撃に対して一般化し、CNN ベースラインよりもはるかに少ないパラメータで競争力のある精度を達成し、カプセル活性化の可視化による分析を提供する。

ABSTRACT

The revolution in computer hardware, especially in graphics processing units and tensor processing units, has enabled significant advances in computer graphics and artificial intelligence algorithms. In addition to their many beneficial applications in daily life and business, computer-generated/manipulated images and videos can be used for malicious purposes that violate security systems, privacy, and social trust. The deepfake phenomenon and its variations enable a normal user to use his or her personal computer to easily create fake videos of anybody from a short real online video. Several countermeasures have been introduced to deal with attacks using such videos. However, most of them are targeted at certain domains and are ineffective when applied to other domains or new attacks. In this paper, we introduce a capsule network that can detect various kinds of attacks, from presentation attacks using printed images and replayed videos to attacks using fake videos created using deep learning. It uses many fewer parameters than traditional convolutional neural networks with similar performance. Moreover, we explain, for the first time ever in the literature, the theory behind the application of capsule networks to the forensics problem through detailed analysis and visualization.

研究の動機と目的

• 深層偽造を含む画像と動画の多様な改変に対して、攻撃タイプを横断して転移可能である一般的で軽量な検出器の必要性に対応する。
• カプセルネットワークを活用して階層的な特徴を保持し、従来のCNNより少ないパラメータで法医学タスクの性能を向上させる。
• 理論的および可視的な分析を提供し、法医学入力に対するカプセルネットワークの動作を正当化して法医学問題へ適用性を示す。

提案手法

• 画像をパッチに分割するか動画からフレームを抽出して前処理を行い、必要に応じて顔領域を切り出して顔フォーカスの検出を行う。
• カプセルネットワークの前段として、第3の最大プーリング層までを含むVGG-19ベースの特徴抽出器を正則化されたフロントエンドとして用いる。
• 複数のプライマリカプセル（3個または10個）を備えた Capsule-Forensics アーキテクチャを実装し、それぞれは2D畳み込み、統計的プーリング層、1D畳み込みから構成され、2つの出力カプセル（realとfake）に接続する。
• トレーニング時には動的ルーティングに2つの正則化（ルーティング行列へのランダムノイズとドロップアウト）を適用し、学習の安定化のためにスクワッシュ活性化を併用する。
• クロスエントロピー損失と Adam 最適化を用いて学習し、フレーム/パッチスコアを集約し（動画ではフレームごとに平均）最終判断を出す。

実験結果

リサーチクエスチョン

• RQ1 Capsule-Forensics は単一のフレームワークで CGI、印刷/再生攻撃、深層偽造/リエンアクション動画などの幅広い改変を検出できるか？
• RQ2 正則化を伴うカプセルネットワークとより大きな入力を用いることで、パラメータ数を抑えつつ攻撃横断検出を改善できるか？
• RQ3 学習されたカプセルは改変領域にどのように対応し、動的ルーティングは時間を通じたカプセル間の合意を何を示すか？
• RQ4 特定の改変タイプ（Deepfakes、Face2Face、FaceSwap）を二値の real/fake を超えて識別する多クラス機能はカプセルネットワークで実現可能か？

主な発見

ネットワーク	二値分類精度（％）	二値分類 EER（％）	多クラス分類精度（％）	パラメータ数
XceptionNet (299×299) [27]	91.46	9.98	91.33	20,811,050
Capsule-Forensics (old) (128×128) [28]	87.73	15.69	85.89	2,796,889
Capsule-Forensics (old) + Noise (128×128) [28]	88.11	15.71	87.12	2,796,889
Capsule-Forensics light (300×300)	90.02	10.95	87.51	2,796,889
Capsule-Forensics light + Noise (300×300)	91.12	11.60	87.54	2,796,889
Capsule-Forensics (300×300)	91.65	11.36	88.51	3,896,638
Capsule-Forensics + Noise (300×300)	91.48	11.62	89.98	3,896,638
Capsule-Forensics light + Dropout (300×300)	91.36	11.61	89.19	2,796,889
Capsule-Forensics light + Dropout + Noise (300×300)	91.28	11.38	88.44	2,796,889
Capsule-Forensics + Dropout (300×300)	92.20	10.96	90.51	3,896,638
Capsule-Forensics + Dropout + Noise (300×300)	92.02	10.26	91.22	3,896,638
Capsule-Forensics + Dropout + Noise (video)	93.11	10.26	92.90	3,896,638

• Capsule-Forensics with 300x300 inputs and enhanced settings achieves competitive binary accuracy (≈91.65%) and robust EER (≈11.36%) while using significantly fewer parameters than XceptionNet (≈3.9M vs. ≈20.8M).
• Adding random noise and dropout regularizations during routing improves performance, particularly with larger input sizes and more primary capsules.
• Increasing the number of primary capsules to 10 and applying dropout/noise yields strong multi-class performance, with Capsule-Forensics + Dropout + Noise (300x300) reaching ≈91.22% multi-class accuracy and ≈10.26% EER.
• Video frame aggregation further improves binary and multi-class accuracy, e.g., Capsule-Forensics + Dropout + Noise (video) achieving binary accuracy 93.11% and multi-class accuracy 92.90%.
• Compared to XceptionNet, Capsule-Forensics with optimizations approaches similar binary accuracy while using about five times fewer parameters; it also shows more balanced performance across manipulation types in multi-class settings.
• For fully CGI vs. photographic image discrimination on large-scale data, both old and new Capsule-Forensics variants outperform baselines, achieving 100% accuracy on the large-scale CGI/PI dataset in the reported setup.