[論文レビュー] Towards Generalizable Deepfake Detection with Locality-aware AutoEncoder

Mengnan Du, Shiva Pentyala+2 more|arXiv (Cornell University)|Sep 13, 2019

Digital Media Forensic Detection参考文献 39被引用数 13

ひとこと要約

本論文では、トレーニング中にピクセル単位のマスク正則化を用いてモデルが偽造領域に注目するように強制することで、一般化性能を向上させる、局所的注意を意識した自己符号化器（LAE）を提案する。アノテーションコストを低減するアクティブラーニングを組み込むことで、未観測の深層偽造操作に対して、最先端手法と比較して検出精度が6.52%、12.03%、3.08%向上した。

ABSTRACT

With advancements of deep learning techniques, it is now possible to generate super-realistic images and videos, i.e., deepfakes. These deepfakes could reach mass audience and result in adverse impacts on our society. Although lots of efforts have been devoted to detect deepfakes, their performance drops significantly on previously unseen but related manipulations and the detection generalization capability remains a problem. Motivated by the fine-grained nature and spatial locality characteristics of deepfakes, we propose Locality-Aware AutoEncoder (LAE) to bridge the generalization gap. In the training process, we use a pixel-wise mask to regularize local interpretation of LAE to enforce the model to learn intrinsic representation from the forgery region, instead of capturing artifacts in the training set and learning superficial correlations to perform detection. We further propose an active learning framework to select the challenging candidates for labeling, which requires human masks for less than 3% of the training data, dramatically reducing the annotation efforts to regularize interpretations. Experimental results on three deepfake detection tasks indicate that LAE could focus on the forgery regions to make decisions. The analysis further shows that LAE outperforms the state-of-the-arts by 6.52%, 12.03%, and 3.08% respectively on three deepfake detection tasks in terms of generalization accuracy on previously unseen manipulations.

研究の動機と目的

• ホールドアウトされたテストセットでは高い精度を示すが、未観測の操作に対しては失敗する、深層偽造検出における一般化ギャップを是正すること。
• 既存のモデルが表面的なアーチファクトや偽造でない領域に依存する傾向を克服し、実際に偽造されている領域に注目するように強制すること。
• 訓練データの3%未満でラベル付けされたデータを必要とする、人間によるアノテーションの負担を軽減するためのアクティブラーニングフレームワークを導入すること。
• CAM（クラス活性マッピング）を統合して局所的な解釈性を向上させ、学習を内在的な偽造パターンに導くこと。
• トレーニング時に未観測の偽造タイプのデータを必要とせず、多様なGANベースの操作に一般化可能な手法を開発すること。

提案手法

• 局所的偽造領域からの表現を学ぶことを目的とした、ボトルネック付きエンコーダ・デコーダアーキテクチャを用いた、局所的注意を意識した自己符号化器（LAE）を提案する。
• トレーニング中にピクセル単位のマスク正則化を導入し、非偽造特徴を抑制することで、モデルが実際に偽造領域に注目するように明示的にガイドする。
• CAM（クラス活性マッピング）を微分可能なかいき解釈手法として用い、偽造領域への注目を可視化・監視可能とし、バックプロパゲーションを用いたエンドツーエンド学習を可能にする。
• 最も不確実で困難なサンプルを人間によるアノテーション対象として選択するアクティブラーニングフレームワークを設計し、完全な監視を必要とするデータ量を3%未満に削減する。
• 再構成損失と分類損失の組み合わせを用いてLAEモデルをエンドツーエンドで学習させ、マスク正則化によりモデルが内在的な偽造特性を学習することを保証する。
• CAMの解釈性を活用して、モデルの予測が偶然的な相関関係やアーチファクトではなく、実際に偽造されている領域に基づいていることを検証する。

実験結果

リサーチクエスチョン

• RQ1 局所的偽造領域に注目させることで、未観測の操作に対しても一般化性能が向上する深層偽造検出モデルを構築できるか？
• RQ2 ピクセル単位のマスク正則化が、表面的なアーチファクトではなく、内在的な偽造表現を学習するのをどの程度効果的にガイドするか？
• RQ3 アクティブラーニングは、偽造マスクのアノテーションコストをどの程度低減できるか、かつ高い検出性能を維持できるか？
• RQ4 CAMによる局所的解釈性の強制が、多様なGANベースの深層偽造生成手法にわたるモデルの頑健性と一般化性能を向上させるか？
• RQ5 局所的注目を備えた自己教師付き自己符号化器は、未観測の操作において、既存の最先端の深層偽造検出モデルを上回る性能を達成できるか？

主な発見

• LAEは一般化性能を顕著に向上させ、未観測の操作を評価する3つの異なる深層偽造検出タスクにおいて、最先端手法をそれぞれ6.52%、12.03%、3.08%上回った。
• CAMを用いたサリエンシーマップによる確認により、モデルの予測が一貫して偽造領域に集中していることが示され、LAEが意味のある局所的表現を学習していることが裏付けられた。
• アクティブラーニングフレームワークにより、人間による偽造マスクアノテーションの必要量が訓練データの3%未満にまで削減され、アノテーション作業の負担が著しく軽減された。
• ベースラインモデルがほぼランダムな性能（約50%）にまで低下する未観測の偽造に対して、LAEは高い検出精度を達成した。
• 解釈性分析による実証的検証により、モデルが非偽造アーチファクトやデータセット固有のバイアスではなく、偽造領域に依存していることが確認された。
• 改善が見られたものの、テストセットと他の未観測データセットとの間にわずかな一般化ギャップが残っており、トランスファーラーニングやマルチドメイン適応によるさらなる向上の余地があることが示唆された。