[論文レビュー] Towards Generalizable Forgery Detection with Locality-aware AutoEncoder.

Mengnan Du, Shiva Pentyala+2 more|arXiv (Cornell University)|Sep 13, 2019

Digital Media Forensic Detection参考文献 24被引用数 36

ひとこと要約

本稿では、局所性に配慮した自己符号化器（LAE）を提案する。LAEは、偽造領域に注目するようにピクセル単位のマスクを用いて、すばやい表現を学習することで、誤った相関関係を回避し、偽造検出の一般化性能を向上させる包括的なフレームワークである。LAEは、未観測の操作タイプに対しても最先端の一般化性能を達成し、既存手法を上回る性能を示す。

ABSTRACT

With advancements of deep learning techniques, it is now possible to generate super-realistic fake images and videos. These manipulated forgeries could reach mass audience and result in adverse impacts on our society. Although lots of efforts have been devoted to detect forgeries, their performance drops significantly on previously unseen but related manipulations and the detection generalization capability remains a problem. To bridge this gap, in this paper we propose Locality-aware AutoEncoder (LAE), which combines fine-grained representation learning and enforcing locality in a unified framework. In the training process, we use pixel-wise mask to regularize local interpretation of LAE to enforce the model to learn intrinsic representation from the forgery region, instead of capturing artifacts in the training set and learning spurious correlations to perform detection. We further propose an active learning framework to select the challenging candidates for labeling, to reduce the annotation efforts to regularize interpretations. Experimental results indicate that LAE indeed could focus on the forgery regions to make decisions. The results further show that LAE achieves superior generalization performance compared to state-of-the-arts on forgeries generated by alternative manipulation methods.

研究の動機と目的

• 未観測だが関連する操作手法に対して、既存の偽造検出モデルの一般化性能が低い問題に対処すること。
• 訓練中にピクセル単位のマスクを用いて局所性を強制することで、偽造領域からの内在的表現を学習すること。
• 挑戦的なサンプルをラベル付け対象として選択するアクティブラーニングフレームワークを導入することで、アノテーションコストを低減すること。
• データセット固有のアーチファクトや誤った相関関係への依存を最小限に抑えることで、検出のロバスト性を向上させること。

提案手法

• LAEはピクセル単位のマスクを用いて局所的解釈を正則化し、モデルが偽造領域に注目するように強制する。
• 自己符号化器アーキテクチャは、マスク付きの監視のもとで入力画像の再構成を学習することで、微細な表現を獲得し、局所的な不一致に注目する。
• 局所性に配慮した損失関数を適用し、モデルが偽造領域特有の構造的・テクスチャ的異常を捉えるように保証する。
• アクティブラーニング戦略により、最も不確実性が高く困難なサンプルを選択して人間によるラベル付けを行うことで、データ効率を向上させる。
• フレームワークは、エンドツーエンドの方法で表現学習と局所性の強制を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 包括的なフレームワークは、多様で未観測の操作手法に対して、偽造検出の一般化性能を向上させることができるか？
• RQ2 ピクセル単位のマスクは、局所性を効果的に強制し、モデルが偽造領域に注目するように導けるか？
• RQ3 アクティブラーニングコンponentは、検出性能を損なわず、アノテーション作業量をどの程度低減できるか？
• RQ4 局所性の強制により、学習データに存在する誤った相関関係やアーチファクトへの依存が減少するか？

主な発見

• LAEは、他の操作手法によって生成された偽造画像において、最先端の手法と比較して優れた一般化性能を示した。
• 注意可視化と活性化マップの結果から、モデルが意思決定の際に偽造領域に的確に注目していることが裏付けられた。
• アクティブラーニングコンponentにより、必要なラベル付きサンプル数を著しく削減しながらも、高い検出精度を維持した。
• LAEは、データセット固有のアーチファクトよりも局所的な構造的異常を強調することで、誤った相関関係の学習を低減した。