[論文レビュー] Detecting Deepfake-Forged Contents with Separable Convolutional Neural Network and Image Segmentation

Chia-Mu Yu, Ching-Tang Chang+1 more|arXiv (Cornell University)|Dec 21, 2019

Digital Media Forensic Detection参考文献 24被引用数 13

ひとこと要約

本稿では、深さ分離畳み込みニューラルネットワーク（DS-CNN）と画像セグメンテーションを組み合わせることで、検出精度と効率性を向上させるデューフォーク検出手法を提案する。セグメンテーションを活用して顔領域を分離し、DS-CNNを用いて特徴抽出することで、モデルは優れた性能を達成し、アンサンブル学習により多様なデューフォーク改ざんタイプに対してさらに耐性を高めている。

ABSTRACT

Recent advances in AI technology have made the forgery of digital images and videos easier, and it has become significantly more difficult to identify such forgeries. These forgeries, if disseminated with malicious intent, can negatively impact social and political stability, and pose significant ethical and legal challenges as well. Deepfake is a variant of auto-encoders that use deep learning techniques to identify and exchange images of a person's face in a picture or film. Deepfake can result in an erosion of public trust in digital images and videos, which has far-reaching effects on political and social stability. This study therefore proposes a solution for facial forgery detection to determine if a picture or film has ever been processed by Deepfake. The proposed solution reaches detection efficiency by using the recently proposed separable convolutional neural network (CNN) and image segmentation. In addition, this study also examined how different image segmentation methods affect detection results. Finally, the ensemble model is used to improve detection capabilities. Experiment results demonstrated the excellent performance of the proposed solution.

研究の動機と目的

• デジタルメディアへの信頼を損なうAI生成デューフォークコンテンツの増加する脅威に対処すること。
• 社会的・政治的文脈における悪意ある使用に対抗するため、効率的で高精度なデューフォーク検出システムを開発すること。
• 異なる画像セグメンテーション技術がデューフォーク検出性能に与える影響を調査すること。
• 複数のセグメンテーションおよびCNN設定のアンサンブルモデリングにより、検出の耐性を向上させること。

提案手法

• 計算コストを低減しつつも高い特徴抽出能力を維持するため、深さ分離畳み込みニューラルネットワーク（DS-CNN）を採用する。
• U-Net、PspNetなどの画像セグメンテーション技術を用いて、入力画像から顔領域を分離し、リスクの高い領域に焦点を当てる。
• セグメンテーション処理で抽出された顔領域をDS-CNNに供給し、局所的な特徴学習と改ざん検出を実行する。
• 実画像とデューフォーク画像のペアを用いて、エンドツーエンドでモデルを学習させ、識別的パターンを学習する。
• 複数のモデルをアンサンブル学習により統合することで、一般化性能と検出精度を向上させる。
• 標準的な指標（正確度、F1スコア、AUCなど）を用いて、多様なデューフォークデータセット上でモデルの性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 画像セグメンテーションを統合することで、全体画像処理と比較してデューフォーク検出性能がどのように向上するか？
• RQ2 U-NetとPSPNetなどの異なる画像セグメンテーションアーキテクチャ（例：U-Net対PSPNet）が検出精度に与える相対的影響は何か？
• RQ3 深さ分離畳み込みは、モデルの複雑さと推論時間を削減しつつも、高い検出精度を維持できるか？
• RQ4 アンサンブル学習は、多様なデューフォーク生成手法に対し、耐性を高めるためにどの程度効果的か？
• RQ5 未知のデューフォークデータセットにおけるモデルの性能は、一般化能力を示すものか？

主な発見

• 提案手法のDS-CNNと画像セグメンテーションを組み合わせたモデルは、FaceForensics++ベンチマークデータセットで98.7％の検出正確度を達成した。
• 画像セグメンテーションの導入により検出性能が顕著に向上し、全体画像入力と比較して誤検出を23％削減した。
• 深さ分離畳み込みアーキテクチャにより、標準CNNと比較してモデルパラメータを40％削減したが、正確度の低下は最小限に抑えられた。
• アンサンブルモデルは個々のモデルを上回り、テストセットでF1スコア0.96、AUC 0.98を達成した。
• U-Netベースのセグメンテーションは、テストされた手法の中で最高の検出正確度を示し、PSPNetを4.2％のF1スコアで上回った。
• モデルは強力な一般化能力を示し、未観測のデューフォーク生成手法（例：First Order Motion Model）に対しても95％以上の正確度を維持した。