[論文レビュー] TruFor: Leveraging all-round clues for trustworthy image forgery detection and localization

Fabrizio Guillaro, Davide Cozzolino+3 more|arXiv (Cornell University)|Dec 21, 2022

Digital Media Forensic Detection被引用数 5

ひとこと要約

TruFor は、自己教師付きでノイズに敏感な指紋と呼ばれる Noiseprint++ を用いて RGB 画像と融合することで、複数スケールにわたる異常を特定・局所化する、画期的なフォレンジックフレームワークである。検出と局所化の両面で最先端の性能を達成しており、信頼性の高い信頼度マップにより誤検出を顕著に低減し、7つのベンチマークで既存手法を上回り、平均で25%の精度向上と最大80%の誤報率低減を達成した。

ABSTRACT

In this paper we present TruFor, a forensic framework that can be applied to a large variety of image manipulation methods, from classic cheapfakes to more recent manipulations based on deep learning. We rely on the extraction of both high-level and low-level traces through a transformer-based fusion architecture that combines the RGB image and a learned noise-sensitive fingerprint. The latter learns to embed the artifacts related to the camera internal and external processing by training only on real data in a self-supervised manner. Forgeries are detected as deviations from the expected regular pattern that characterizes each pristine image. Looking for anomalies makes the approach able to robustly detect a variety of local manipulations, ensuring generalization. In addition to a pixel-level localization map and a whole-image integrity score, our approach outputs a reliability map that highlights areas where localization predictions may be error-prone. This is particularly important in forensic applications in order to reduce false alarms and allow for a large scale analysis. Extensive experiments on several datasets show that our method is able to reliably detect and localize both cheapfakes and deepfakes manipulations outperforming state-of-the-art works. Code is publicly available at https://grip-unina.github.io/TruFor/

研究の動機と目的

• 既存の改ざん検出手法の限界、特に実運用における一般化性能の低さと高い誤検出率を是正すること。
• 従来のフォレンジック痕跡が消去される可能性がある画像の洗練（リサイズ、再圧縮など）に対して、より強力な耐性を備えること。
• グローバル検出と正確な局所化を統合的に実行するフレームワークを提供し、信頼性を明示的に推定する仕組みを備えること。
• 大規模なフォレンジック分析における誤報を低減するため、信頼度マップを導入し、信頼性の低い局所化予測を特定すること。
• 統一的で異常ベースのアプローチにより、古典的「クイックフェイク」および高度なディープフェイク改ざんの両方を効果的に検出できること。

提案手法

• TruFor は、入力 RGB 画像と自己教師付きでノイズに敏感な指紋である Noiseprint++ を統合するトランスフォーマー基盤の融合アーキテクチャを採用し、異常を検出する。
• Noiseprint++ は、実画像のみを用いて自己教師付きで学習させ、カメラの内部および外部処理に起因するアーティファクトを学習することで、洗練に対する耐性を高める。
• 融合表現における期待される規則的パターンからの逸脱を特定することで異常検出を実現し、グローバルおよびローカルな改ざんの両方を検出可能にする。
• 3つの出力を生成する：ピクセル単位の異常局所化マップ、信頼度重み付きプーリングから得られるグローバルな完全性スコア、および信頼性の低い領域を特定する信頼度信頼度マップ。
• 信頼度マップは局所化マップと同時に学習され、特に均一または模様のない領域において、信頼性の低い予測を低減することで誤検出を抑制する。
• 信頼度重み付き局所化マップから得られるしきい値付き完全性スコアを用いて検出を実施することで、最大プーリングベースのベースラインと比較して、より高い耐性を実現する。

実験結果

リサーチクエスチョン

• RQ1 統一的フォレンジックフレームワークは、実運用における洗練条件下でも、古典的およびディープフェイク改ざんを含む多様な画像改ざんを効果的に検出・局所化できるか？
• RQ2 信頼度マップを検出パイプラインに統合することで、大規模なフォレンジック分析における誤検出を低減し、信頼性を向上させられるか？
• RQ3 低レベルのノイズアーティファクトと高レベルの意味的特徴を組み合わせることで、分布外の改ざんに対して検出の耐性と一般化性能がどの程度向上するか？
• RQ4 自己教師付きでノイズに敏感な指紋（Noiseprint++）を用いることで、従来のフォレンジック特徴と比較して、画像洗練に対する耐性が向上するか？
• RQ5 信頼度を考慮した検出戦略により、実運用環境において誤報率を顕著に低減しつつ、高い検出精度を維持できるか？

主な発見

• TruFor は、7つのベンチマークで最先端手法と比較し、平均で25%の精度向上を達成し、固定しきい値下で誤検出率が79%低減された。
• 信頼度重み付きプーリングを活用することで、最大プーリングベースラインと比較し、誤報を最大80%まで低減し、大規模な展開における信頼性を顕著に向上させた。
• 信頼度マップは、均一または模様のない領域（例：暗く均一な背景）における誤検出を効果的に特定・抑制でき、他の手法がしばしば失敗する領域でも優れた性能を示した。
• 信頼度マップを用いることで、検出タスクの AUC は 0.996、精度は 0.905 に達したのに対し、同マップなしでは AUC 0.877、精度 0.785 にとどまった。
• 定性的な結果から、TruFor は最先端手法と比較して、より鋭く正確な局所化マップを生成しており、信頼度マップは境界付近の真正の改ざんや、完全な画像上での誤検出を正しく特定している。
• 特に画像洗練や多様な改ざんタイプを含む困難なシナリオにおいて、TruFor は検出および局所化の両面で既存手法を上回った。