[論文レビュー] TBNet:Two-Stream Boundary-aware Network for Generic Image Manipulation Localization

Zan Gao, Chao Sun+4 more|arXiv (Cornell University)|Aug 10, 2021

Digital Media Forensic Detection参考文献 33被引用数 5

ひとこと要約

本稿では、RGBおよび周波数ドメイン特徴量を適応的融合と境界アーティファクトの局在化により統合的にモデル化し、一般化された画像改ざん局在化を実現するエンドツーエンドの2ストリーム境界認識ネットワーク、TBNetを提案する。本手法は、先行手法と比較してベンチマークデータセット上でMCCとF1スコアをそれぞれ最大11.6%および11.1%向上させ、最先端の性能を達成した。

ABSTRACT

Finding tampered regions in images is a hot research topic in machine learning and computer vision. Although many image manipulation location algorithms have been proposed, most of them only focus on the RGB images with different color spaces, and the frequency information that contains the potential tampering clues is often ignored. In this work, a novel end-to-end two-stream boundary-aware network (abbreviated as TBNet) is proposed for generic image manipulation localization in which the RGB stream, the frequency stream, and the boundary artifact location are explored in a unified framework. Specifically, we first design an adaptive frequency selection module (AFS) to adaptively select the appropriate frequency to mine inconsistent statistics and eliminate the interference of redundant statistics. Then, an adaptive cross-attention fusion module (ACF) is proposed to adaptively fuse the RGB feature and the frequency feature. Finally, the boundary artifact location network (BAL) is designed to locate the boundary artifacts for which the parameters are jointly updated by the outputs of the ACF, and its results are further fed into the decoder. Thus, the parameters of the RGB stream, the frequency stream, and the boundary artifact location network are jointly optimized, and their latent complementary relationships are fully mined. The results of extensive experiments performed on four public benchmarks of the image manipulation localization task, namely, CASIA1.0, COVER, Carvalho, and In-The-Wild, demonstrate that the proposed TBNet can significantly outperform state-of-the-art generic image manipulation localization methods in terms of both MCC and F1.

研究の動機と目的

• 既存手法がRGBまたは色彩空間特徴量にのみ注目しており、画像改ざんにおいて顕著な周波数ドメイン統計を無視しているという制限を是正すること。
• RGB、周波数、境界アーティファクト特徴量を統合的に1つのエンドツーエンドフレームワークで統合し、局在化精度を向上させること。
• RGBと周波数特徴量の補完的性質に基づき、関連性に応じて動的に関連する周波数成分を選択し、特徴量を統合するための適応的モジュールを開発すること。
• 境界アーティファクトを明示的にモデル化することで、特にコピーマルチおよびスプライシング操作における微細な改ざん兆候の検出を強化すること。
• 多様な改ざんタイプと実世界の攻撃シナリオにわたり、頑健な性能を発揮すること。

提案手法

• 不一致統計を抽出し、余分な成分を抑制するため、最も情報量の多い周波数成分を適応的に選択する適応的周波数選択（AFS）モジュールを提案する。
• RGBストリームと周波数ストリームの特徴量の関連性と補完的パターンに基づき、動的に特徴量を統合する適応的クロスアテンション統合（ACF）モジュールを導入する。
• 境界アーティファクトを局在化するため、2ストリームエンコーダーと同時に最適化される境界アーティファクト局在（BAL）ネットワークを設計する。これによりエッジの精度が向上する。
• BALモジュールをエンコーダーデコーダー構造に統合し、RGB、周波数、境界ストリーム間で共有パラメータを用いたエンドツーエンド学習を可能にする。
• 正解の改ざんマスクと境界アーティファクト位置からの監視を統合した統一損失関数を用い、すべてのモジュールを同時に最適化する。
• 周波数ストリームの入力として、高周波ノイズ特徴量を抽出する簡素化されたSRMに類似したハイパスフィルタを採用し、改ざん兆候への感受性を高める。

実験結果

リサーチクエスチョン

• RQ1 RGB特徴量と組み合わせた場合、周波数ドメイン特徴量が一般化された画像改ざん局在化において顕著な向上をもたらすか？
• RQ2 RGBと周波数特徴量をどのように適応的に統合すれば、補完的情報の獲得を最大化できるか？
• RQ3 境界アーティファクトの明示的モデリングにより、特に複雑な改ざんシナリオにおいて局在化精度が向上するか？
• RQ4 適応的周波数選択とアテンションベース統合を備えたエンドツーエンド学習可能な2ストリームアーキテクチャが、既存のSOTA手法を上回るか？
• RQ5 提案手法は、多様な改ざんタイプおよび実世界の画像処理攻撃に対してどれほど頑健か？

主な発見

• TBNetは、CASIA1.0、COVER、Carvalho、In-The-Wildの4つの公開ベンチマークで最先端の性能を達成し、MCCおよびF1スコアにおいて顕著な向上を示した。
• CASIA1.0では、DeepLabV3+と比較してMCCが11.0%、F1が11.1%向上した。
• COVERでは、DeepLabV3+と比較してMCCが8.2%、F1が10.3%向上した。
• Carvalhoでは、DeepLabV3+と比較してMCCが10.2%、F1が11.6%向上した。
• In-The-Wildでは、MCCが8.9%、F1が6.2%向上し、実世界の変動に強い性能を示した。
• アブレーションスタディにより、周波数特徴量がRGB特徴量と顕著に補完的であることが確認され、AFSおよびACFモジュールが特徴量学習と統合効率を顕著に向上させた。