[論文レビュー] Deep Matching and Validation Network -- An End-to-End Solution to Constrained Image Splicing Localization and Detection

Yue Wu, Wael AbdAlmageed+1 more|arXiv (Cornell University)|May 27, 2017

Digital Media Forensic Detection参考文献 34被引用数 11

ひとこと要約

本稿では、クエリ画像と潜在的ドナー画像を用いて、画像のスプライシングを同時に検出・局所化するエンドツーエンドのディープラーニングフレームワークであるDeep Matching and Validation Network（DMVN）を提案する。生のピクセル入力と、新しいDeep Dense MatchingレイヤーおよびVisual Consistency Validatorを活用することで、特徴量の手作業抽出や後処理を必要とせず、AUCスコアと処理速度の両面で最先端の手法を上回り、優れた局所化精度を達成する。

ABSTRACT

Image splicing is a very common image manipulation technique that is sometimes used for malicious purposes. A splicing detec- tion and localization algorithm usually takes an input image and produces a binary decision indicating whether the input image has been manipulated, and also a segmentation mask that corre- sponds to the spliced region. Most existing splicing detection and localization pipelines suffer from two main shortcomings: 1) they use handcrafted features that are not robust against subsequent processing (e.g., compression), and 2) each stage of the pipeline is usually optimized independently. In this paper we extend the formulation of the underlying splicing problem to consider two input images, a query image and a potential donor image. Here the task is to estimate the probability that the donor image has been used to splice the query image, and obtain the splicing masks for both the query and donor images. We introduce a novel deep convolutional neural network architecture, called Deep Matching and Validation Network (DMVN), which simultaneously localizes and detects image splicing. The proposed approach does not depend on handcrafted features and uses raw input images to create deep learned representations. Furthermore, the DMVN is end-to-end op- timized to produce the probability estimates and the segmentation masks. Our extensive experiments demonstrate that this approach outperforms state-of-the-art splicing detection methods by a large margin in terms of both AUC score and speed.

研究の動機と目的

• 画像の後処理変換に対して脆弱な手作業特徴量に依存する伝統的手法の限界を解消すること。
• 従来のスプライシング検出システムで見られる段階的な最適化の非効率性を克服すること。
• クエリ画像と潜在的ドナー画像を用いて制約付き問題としてスプライシング検出を定式化し、検出精度と局所化精度を向上させること。
• スプライシング検出とセグメンテーションマスク予測の両方を同時に最適化するエンドツーエンドで学習可能なディープニューラルネットワークを開発すること。
• 手作業特徴量の設計や後処理ステップへの依存を低減することで実用的導入を可能にするとともに、困難な変換条件下でも高い性能を維持すること。

提案手法

• クエリ画像とドナー画像の特徴マップ間の密な対応を計算する新しいDeep Dense Matchingレイヤーを提案し、潜在的なスプライシング領域を同定する。
• 一致領域間で画像コンテンツを相互に検証するVisual Consistency Validatorモジュールを統合し、スプライシングの可能性を検証し、誤検出を低減する。
• ネットワークがクエリ画像およびドナー画像の両方のスプライシング確率とセグメンテーションマスクを同時に予測するマルチタスク学習アーキテクチャを設計する。
• 手作業特徴量やヒューリスティックな後処理を不要とする生の画像入力からエンドツーエンドでネットワークを学習する。
• マッチングおよび検証段階の前段階で、CNNベースの特徴抽出器を用いて入力画像から階層的で深い表現を生成する。
• モデルのフォワード伝搬構造を活用し、スプライシングマスクの完全なアノテーションではなく、ラベルアノテーションのみで新しいデータセットに対して微調整可能であり、アノテーションコストを顕著に削減できる。

実験結果

リサーチクエスチョン

• RQ1 手作業特徴量に依存し、段階的な最適化が別々に行われる従来のスプライシング検出手法に比べ、エンドツーエンドのディープラーニングモデルが優れた性能を発揮できるか？
• RQ2 JPEG圧縮やリサンプリングなどのさまざまな画像変換下でも、提案されたDeep Dense Matchingレイヤーがスプライシング領域をどれほど効果的に同定できるか？
• RQ3 一致領域間のコンテンツを相互に検証することで、Visual Consistency Validatorが検出の信頼性をどの程度向上できるか？
• RQ4 本モデルは、実世界のスプライシング例が多く含まれる多様なデータセット、特にクラス間の類似度が高いデータセットに対しても汎用性を示せるか？
• RQ5 完全なマスクアノテーションがなくても、検出ラベルのみで学習可能なモデルは、正確なスプライシング局所化を達成できるか？

主な発見

• DMVNは、ペアドCASIAおよびより挑戦的なNC2017データセットの両方で、最先端の手法を上回る高いAUCスコアを達成し、優れた検出性能を示した。
• NC2017データセットでは、DMVNはAUC 0.958を達成し、次に優れた手法の0.892を大きく上回った。同じ評価プロトコル下での比較である。
• 従来のブロックマッチングやキーポoinトベースのアプローチに比べ、画像処理速度が最大10倍速く、大規模な展開に適している。
• 視覚的比較では、特に均一またはテクスチャのある領域において、DMVNがベースライン手法よりもより完全で正確なセグメンテーションマスクを生成した。
• JPEG圧縮やリサンプリングなどの重度の変換に対しても、DMVNは頑健性を維持しており、従来手法がしばしば失敗する状況でも安定した性能を示した。
• 性能にかかわらず、CNNエンコーダーにおける特徴マップのダウンサンプリングの影響により、8×8ピクセル未満のスプライシングオブジェクトの検出に苦労している。