[論文レビュー] ObjectFormer for Image Manipulation Detection and Localization

Junke Wang, Zuxuan Wu+5 more|arXiv (Cornell University)|Mar 28, 2022

Digital Media Forensic Detection被引用数 9

ひとこと要約

ObjectFormer は、RGB と高周波数ドメイン特徴を統合することで、画像改ざんを検出・局所化するマルチモーダルトランスフォーマーフレームワークである。学習可能なオブジェクトプロトタイプを用いてオブジェクトレベルおよびパッチレベルの一貫性をモデル化する。複数のベンチマークで最先端の性能を達成し、既存手法を上回る改ざん検出および局所化精度を実現する。

ABSTRACT

Recent advances in image editing techniques have posed serious challenges to the trustworthiness of multimedia data, which drives the research of image tampering detection. In this paper, we propose ObjectFormer to detect and localize image manipulations. To capture subtle manipulation traces that are no longer visible in the RGB domain, we extract high-frequency features of the images and combine them with RGB features as multimodal patch embeddings. Additionally, we use a set of learnable object prototypes as mid-level representations to model the object-level consistencies among different regions, which are further used to refine patch embeddings to capture the patch-level consistencies. We conduct extensive experiments on various datasets and the results verify the effectiveness of the proposed method, outperforming state-of-the-art tampering detection and localization methods.

研究の動機と目的

• RGBドメインでは見えないが周波数ドメインでは顕在する微細な画像改ざんを検出する課題に対処すること。
• 学習可能なオブジェクトプロトタイプを用いてオブジェクトレベルおよびパッチレベルの視覚的一致性をモデル化することで、改ざん検出を向上させること。
• RGB および周波数特徴を統合して、耐障害性の高い改ざん局所化を実現するエンドツーエンドのマルチモーダルトランスフォーマーフレームワークを構築すること。
• 多様なデータセットにおいて、既存の最先端手法を検出精度および局所化精度の両面で上回ること。

提案手法

• モデルは入力画像から高周波成分を抽出するために離散コサイン変換（DCT）を用いる。
• 畳み込み層を介して RGB 特徴と高周波特徴を連結することで、マルチモーダルパッチ埋め込みを形成する。
• オブジェクトレベルの一貫性を、パッチ埋め込みとのクロスアテンションを介して学習可能なオブジェクトプロトタイプを中間表現として用いる。
• スタックされたオブジェクトエンコーダーとパッチデコーダーを用いて、オブジェクトレベルの一貫性を段階的に精緻化し、パッチレベルの一貫性モデリングを強化する。
• エンドツーエンドでグローバルな改ざんラベルと密な改ざんマスクを予測するためのマルチタスク学習設定を採用する。
• オブジェクトプロトタイプとパッチ埋め込み間のクロスアテンションにより特徴の精錬を実現し、階層的一致性学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 RGB と周波数ドメイン特徴を組み合わせることで、微細な画像改ざんアーティファクトの検出が向上するか？
• RQ2 学習可能なオブジェクトプロトタイプは、改ざん検出におけるオブジェクトレベルの視覚的一致性をどの程度効果的にモデル化できるか？
• RQ3 オブジェクトプロトタイプを介してパッチレベルの一貫性を明示的にモデリングすることで、局所化精度が向上するか？
• RQ4 RGB と高周波特徴のマルチモーダル統合は、スプライシング、コピーマイグレーション、削除改ざんの検出において、単一モダリティ手法と比較してどのように優れているか？
• RQ5 オブジェクトプロトタイプや高周波特徴埋め込みといったアーキテクチャ的要素が、全体のモデル性能に与える影響は何か？

主な発見

• ObjectFormer は、CASIA、Columbia、Coverage、NIST16、IMD20 データセットにおいて、改ざん局所化の AUC および F1 スコアで、既存の最先端手法を上回った。
• 高周波特徴埋め込み（HFE）を除外すると、CASIA で AUC が 14.6% 減少し、NIST16 で 11.0% 減少した。これは、微細なアーティファクト検出において HFE が極めて重要な役割を果たしていることを確認する。
• 境界に配慮した一貫性モデリング（BCIM）コンponent を除外すると、CASIA で AUC が 6.2% 減少し、NIST16 で 2.4% 減少した。これは、境界に敏感な検出において BCIM が重要な役割を果たしていることを示している。
• オブジェクトエンコーダーおよびデコーダーを通常の自己注意ブロックに置き換えると、NIST16 で AUC が 5% 減少し、F1 が 12.5% 減少した。これは、中間レベルのオブジェクト表現の価値を裏付けている。
• 最適なオブジェクトプロトタイプ数は 16 であり、Columbia および CASIA データセットで最高性能を発揮した。性能はこの数に達するまで、数を増やすことで向上した。
• 定性的な結果では、ObjectFormer は ManTraNet や SPAN よりもシャープでより正確な改ざんマスクを生成しており、特に複雑な境界の局所化において優れていることが示された。