[論文レビュー] Generate, Segment and Refine: Towards Generic Manipulation Segmentation

Peng Zhou, Bor-Chun Chen+5 more|arXiv (Cornell University)|Nov 24, 2018

Digital Media Forensic Detection参考文献 41被引用数 11

ひとこと要約

本稿では、データ不足を補うためにGANベースの生成器を用いて現実的で改ざんされた画像を生成し、境界に注目したセグメンテーションと精練パイプラインを採用することで、改ざんの兆候を効果的に検出する、汎用的改ざんセグメンテーションのための新規フレームワークGSR-Netを提案する。本手法は、セマンティックコンテンツではなく境界レベルの兆候に注目することで、4つのベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

Detecting manipulated images has become a significant emerging challenge. The advent of image sharing platforms and the easy availability of advanced photo editing software have resulted in a large quantities of manipulated images being shared on the internet. While the intent behind such manipulations varies widely, concerns on the spread of fake news and misinformation is growing. Current state of the art methods for detecting these manipulated images suffers from the lack of training data due to the laborious labeling process. We address this problem in this paper, for which we introduce a manipulated image generation process that creates true positives using currently available datasets. Drawing from traditional work on image blending, we propose a novel generator for creating such examples. In addition, we also propose to further create examples that force the algorithm to focus on boundary artifacts during training. Strong experimental results validate our proposal.

研究の動機と目的

• 手作業によるラベル付けが困難なため、改ざん画像セグメンテーションのための包括的な学習データの不足に対処する。
• 現実世界の改ざんを模倣するハードで現実的な改ざん画像の例を生成することで、一般化性能を向上させる。
• セマンティックコンテンツではなく、改ざんの兆候としての重要な指標である境界の兆候にモデルの注目を向けさせる。
• 反復的な精錬によって微細な改ざんの兆候を検出する能力を向上させる自己精錬トレーニングループを開発する。
• 専門的なアノテート済みデータセットに依存せず、COCO形式のオブジェクトアノテーションのみを用いても効果的なセグメンテーションを実現する。

提案手法

• ブレンドベースの目的関数を用いて、改ざん領域をソース画像に融合させることで、現実性を最適化するGANベースの生成器を提案する。
• 3段階のGSR-Netアーキテクチャを設計する：(1) コピー＆ペーストされた画像からハードな例の生成、(2) 特徴量の連結を用いた境界ガイドドセマンティックセグメンテーション、(3) 予測された境界を本物の領域に置き換えることで、新たなトレーニングサンプルを生成する精錬。
• 改ざんの兆候を検出する境界ブランチと、境界予測に基づいて内部を埋めるセグメンテーションブランチを統合する。
• 精錬段階を活用して、新たな境界の兆候を有する現実的な改ざん画像を生成し、それをセグメンテーションネットワークにフィードバックして継続的な学習を実現する。
• 境界局所化の向上と特徴表現の強化のため、セグメンテーションネットワークの低レベル特徴を活用する。
• 精錬段階で共有重みを用いることで、効率的な推論を実現する、エンドツーエンドのフレームワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 GANベースの生成器は、一般化性能を向上させるために、検出が困難な現実的でハードな改ざん画像の例を生成できるか？
• RQ2 セマンティックコンテンツではなく境界の兆候に注目することで、画像改ざんの検出性能が向上するか？
• RQ3 反復的に新しい境界の兆候を有する例を生成する自己精錬トレーニングループは、モデルのロバストネスを向上させられるか？
• RQ4 COCO形式のオブジェクトアノテーションのみで学習したモデルが、専門的なアノテート済みデータセットに依存せずに、改ざんセグメンテーションにどの程度一般化できるか？
• RQ5 本手法は、JPEG圧縮および画像スケーリング攻撃の下で、既存手法と比較してどの程度ロバストであるか？

主な発見

• GSR-Netは4つのベンチマークデータセットで最先端のF1スコアを達成した：Carvalhoで0.418、In-The-Wildで0.479、COVERで0.381、CASIAで0.331であり、先行手法を上回った。
• 精錬段階（CP + GSR）は、ベースライン（CP + S）と比較して、Carvalhoで6.5%、In-The-Wildで9.3%のF1スコア向上を示し、境界の兆候に注目する有効性を裏付けた。
• 生成画像を用いる（DL + G）と、コピー＆ペースト画像のみを用いる（DL + CP）よりも性能が向上し、両方を組み合わせた（DL + CP + G）が最高の性能を示し、相補的な利点があることを示した。
• JPEG圧縮および画像スケーリング攻撃の下でも安定した性能を維持し、RGB-N、EXIF-selfconsistency、MFCNを上回るロバストネスを示した。
• CASIA 2.0の改ざんデータを一切使用せず、COCOオブジェクトアノテーションのみで学習したにもかかわらず、CASIAでF1スコア0.331を達成し、強力な一般化能力を示した。
• 定性的な結果から、境界ブランチは微細な改ざんの兆候を効果的に検出できており、セグメンテーションブランチはスプライシングおよびコピーマイグレーションの両方の改ざんにおいて、正確に改ざん領域を埋めることができた。