[論文レビュー] Detecting and Localizing Copy-Move and Image-Splicing Forgery

Aditya S. Pandey, Anshuman Mitra|arXiv (Cornell University)|Feb 8, 2022

Digital Media Forensic Detection被引用数 4

ひとこと要約

本稿では、深層学習と画像変換技術——特にデジタルコサイン変換（DCT）およびエラーレベル分析（ELA）——を組み合わせたハイブリッド手法を提案し、コピー・ムーブおよび画像合成の偽造を検出・局所化する。DCTベースのモデルに単純なニューラルネットワークを適用した場合、すべてのクラスで最高のFスコア（0.87–0.90）を達成し、特にぼかし処理や増幅処理の下でも、畳み込みニューラルネットワーク（CNN）ベースの手法を上回った。一方、ELA入力を用いたUNetベースのモデルは、マスク局所化の正確性を向上させた。

ABSTRACT

In the world of fake news and deepfakes, there have been an alarmingly large number of cases of images being tampered with and published in newspapers, used in court, and posted on social media for defamation purposes. Detecting these tampered images is an important task and one we try to tackle. In this paper, we focus on the methods to detect if an image has been tampered with using both Deep Learning and Image transformation methods and comparing the performances and robustness of each method. We then attempt to identify the tampered area of the image and predict the corresponding mask. Based on the results, suggestions and approaches are provided to achieve a more robust framework to detect and identify the forgeries.

研究の動機と目的

• コピー・ムーブおよび画像合成の操作による偽造を検出し、局所化するための堅牢なフレームワークの開発。
• 深層学習モデルと従来の画像変換手法（例：DCT、ELA）の偽造検出性能および耐性を比較すること。
• 元画像およびELA変換済み画像を用いたマルチインプットUNetアーキテクチャを活用し、偽造領域の局所化精度を向上させること。
• ぼかし、ねじり変形、チャネル削減などの一般的な改ざん後処理に対するモデルの耐性を評価すること。
• 実世界の画像改ざんを想定した状況下で、最高のFスコアと一般化性能を達成する、前処理技術と深層学習アーキテクチャの最適な組み合わせを同定すること。

提案手法

• 再圧縮による差異を明らかにすることで、改ざん領域を特定するため、エラーレベル分析（ELA）を適用した。
• 周波数ドメイン特徴量を抽出するため、デジタルコサイン変換（DCT）を用いた。画像のテクスチャや構造の異常を特定することで、偽造の兆候を特定した。
• ELAおよびDCT特徴量を入力として、バッチ正則化を適用した基本的なニューラルネットワークおよびCNNを訓練し、偽造画像と真正画像の二値分類を実施した。
• 2種類のUNetベースのセグメンテーションモデルを設計した：1つは偽造画像のみを入力とするもの、もう1つは元画像およびELA変換済み画像の二重入力ストリームを用いるもの。
• 二重入力UNetにおいて、特徴抽出およびマスク予測の品質を向上させるために、ResNet101をバックボーンとして採用した。
• 訓練のダイナミクスを最適化するため、損失曲線および収束状況のモニタリングを実施し、検証損失と訓練時間の2つを主な指標とした。

実験結果

リサーチクエスチョン

• RQ1 ぼかしやねじり変形などの画像増幅処理に対して、DCTベースおよびELAベースの前処理手法の性能と耐性は、どのように比較されるか？
• RQ2 ELAを深層学習モデルと組み合わせることで、単に元画像を用いる場合と比較して、偽造領域の局所化精度が向上するか？
• RQ3 複数の入力モodal（元画像＋ELA画像）を組み合わせることで、UNetベースのセグメンテーションモデルの性能にどのような影響を与えるか？
• RQ4 ぼかし処理などの一般的な後処理が、さまざまな偽造検出モデルの性能にどの程度悪影響を及えるか？
• RQ5 どの前処理技術と深層学習アーキテクチャの組み合わせが、最高のFスコアと一般化性能を達成するか？

主な発見

• 単純なニューラルネットワークを用いたDCTベースのモデルが、テストセットで最高のFスコア0.90を記録し、他のすべての手法を上回った。特にぼかし処理や増幅処理の下でも顕著な優位性を示した。
• バッチ正則化を適用したCNNにELAを組み合わせた場合、重み付きFスコアは0.65にとどまったが、ぼかし処理の下で著しく性能が低下し、耐性が限定的であることが判明した。
• ResNet101をバックボーンとする二重入力UNetモデル（元画像＋ELA画像）は、単一入力バージョンと比較して、マスクの局所化品質が明確に向上しており、視覚的検証でも確認された。
• DCTベースのモデルはぼかし処理下でも強固な性能（Fスコア0.88）を維持したが、CNNベースのモデルはぼかし処理後に偽造画像を検出できず、周波数ドメイン解析の耐性の高さが浮き彫りになった。
• 訓練時間と収束性については、CNNベースのUNet（1エポック100秒、17エポックで収束）が、ResNetベースのUNet（1エポック161秒、完全収束せず）よりも優れていたが、後者はより高い検証損失を示した。
• 本研究では、DCTまたはELAによる前処理が、特に基本的で効率的なモデル（基本的なニューラルネットワークなど）と組み合わせることで、モデルの耐性が顕著に向上することが確認された。