[論文レビュー] Hierarchical Fine-Grained Image Forgery Detection and Localization

Xiao Guo, Xiaohong Liu+4 more|arXiv (Cornell University)|Mar 30, 2023

Digital Media Forensic Detection被引用数 4

ひとこと要約

本稿では、複数の抽象化レベル（例：『完全に合成された』という一般的なカテゴリから『DDPM』や『スプライシング』といった具体的な手法まで）におけるフォージャリ属性をモデル化する階層的微細分類フレームワークを提案する。フォージャリ属性の階層的依存関係を活用することで、画像レベルの検出とピクセルレベルの局在化の両方の性能が向上し、7つのベンチマークで最先端の性能を達成するとともに、未学習のフォージャリ手法に対しても一般化可能である。

ABSTRACT

Differences in forgery attributes of images generated in CNN-synthesized and image-editing domains are large, and such differences make a unified image forgery detection and localization (IFDL) challenging. To this end, we present a hierarchical fine-grained formulation for IFDL representation learning. Specifically, we first represent forgery attributes of a manipulated image with multiple labels at different levels. Then we perform fine-grained classification at these levels using the hierarchical dependency between them. As a result, the algorithm is encouraged to learn both comprehensive features and inherent hierarchical nature of different forgery attributes, thereby improving the IFDL representation. Our proposed IFDL framework contains three components: multi-branch feature extractor, localization and classification modules. Each branch of the feature extractor learns to classify forgery attributes at one level, while localization and classification modules segment the pixel-level forgery region and detect image-level forgery, respectively. Lastly, we construct a hierarchical fine-grained dataset to facilitate our study. We demonstrate the effectiveness of our method on $7$ different benchmarks, for both tasks of IFDL and forgery attribute classification. Our source code and dataset can be found: \href{https://github.com/CHELSEA234/HiFi_IFDL}{github.com/CHELSEA234/HiFi-IFDL}.

研究の動機と目的

• CNNで合成された画像および画像編集手法を含む多様なフォージャリ領域にわたる統合的画像フォージャリ検出と局在化の課題に対処すること。
• 『完全に合成された』から『拡散モデル』や『スプライシング』といった具体的な手法に至るまで、フォージャリ属性の内在的な階層的構造をモデル化すること。
• マルチブランチ特徴抽出、階層的分類、ピクセルレベルの局在化を同時に最適化することで表現学習を向上させること。
• 統合的IFDLモデルの学習と評価を支援するため、12のフォージャリカテゴリを含み、4段階の粒度を持つ新しい階層的微細分類データセット（HiFi-IFDL）を構築すること。

提案手法

• 各ブランチが特定のフォージャリ属性分類レベルに対応するマルチブランチ特徴抽出器を採用する。
• 各ノードの予測をルートからのパスに条件づけることで、階層的分類を実現し、全レベルにわたる一貫性を確保する。
• ピクセルレベルのフォージャリ局在化は、実画像からの平均特徴ベクトルと比較する対照的損失によって達成する。
• 損失関数は動的である：入力が本物の場合、最終ブランチのみを学習；フォージャリの場合、すべてのブランチを最適化する。
• 特徴抽出モジュール、分類モジュール、局在化モジュールにそれぞれ別々の学習率を用いて、エンドツーエンドでモデルを学習する。
• 本稿では、学習済みおよび未学習の手法を含む4段階の粒度で12のフォージャリカテゴリを有する、新しいデータセットHiFi-IFDLを構築した。

実験結果

リサーチクエスチョン

• RQ1 統合的IFDLフレームワークは、CNNで合成された画像および画像編集分野の両方におけるフォージャリを効果的に検出・局在化できるか？
• RQ2 フォージャリ属性を階層的にモデル化することで、平坦な分類と比較して検出・局在化性能がどのように向上するか？
• RQ3 学習データに含まれない未見のフォージャリ手法に対し、モデルはどの程度一般化可能か？
• RQ4 フォージャリ属性の階層的依存関係は、特徴表現学習をどのように向上させるか？
• RQ5 多段階の監視が、局在化の精度と耐性にどのような影響を与えるか？

主な発見

• 提案手法は、画像レベルのフォージャリ検出およびピクセルレベルの局在化の両面で、7つのベンチマークで最先端の性能を達成した。
• 未学習のフォージャリ手法に対しても効果的に一般化され、ゼロショット設定でも高い耐性を示した。
• より深いレベル（例：特定の拡散モデル）での微細分類は、粗いレベルの監視から恩恵を受けることで、粗いレベルの予測が弱くても精度が向上した。
• 階層的構造により、フォージャリ手法とフォージャリ領域の分布との相関を活用できるようになり、より良い局在化が実現された。
• 提案されたHiFi-IFDLデータセットは、将来的な統合的IFDL研究のための多様で多段階のベンチマークを提供している。
• 定性的な結果でも、StyleGANv3 や Faceshifter からの複雑なフォージャリを正しく分類する強力な耐性を示した。