[論文レビュー] Multi-clue reconstruction of sharing chains for social media images

Sebastiano Verde, Cecilia Pasquini+5 more|arXiv (Cornell University)|Aug 5, 2021

Digital Media Forensic Detection被引用数 4

ひとこと要約

本論文は、コンテンツベース（DCT、メタデータ）およびコンテナーベース（画像ヘッダーフィーチャー）の複数のフォレンジック手がかりを統合することで、ソーシャルメディアプラットフォーム間の画像共有チェーンを再構築する教師ありの段階的フレームワークを提案する。本システムは、最大3段階の共有ステップを追跡する際、81%の正確性を達成しており、特にTwitterのアップロードがフォレンジック痕跡を著しく破壊するため、早期に同定することで性能が向上する。

ABSTRACT

The amount of multimedia content shared everyday, combined with the level of realism reached by recent fake-generating technologies, threatens to impair the trustworthiness of online information sources. The process of uploading and sharing data tends to hinder standard media forensic analyses, since multiple re-sharing steps progressively hide the traces of past manipulations. At the same time though, new traces are introduced by the platforms themselves, enabling the reconstruction of the sharing history of digital objects, with possible applications in information flow monitoring and source identification. In this work, we propose a supervised framework for the reconstruction of image sharing chains on social media platforms. The system is structured as a cascade of backtracking blocks, each of them tracing back one step of the sharing chain at a time. Blocks are designed as ensembles of classifiers trained to analyse the input image independently from one another by leveraging different feature representations that describe both content and container of the media object. Individual decisions are then properly combined by a late fusion strategy. Results highlight the advantages of employing multiple clues, which allow accurately tracing back up to three steps along the sharing chain.

研究の動機と目的

• ソーシャルメディアにおける画像共有履歴の再構築に取り組み、画像の出典特定や誤情報の是正を支援する。
• 繰り返しの共有やプラットフォーム変換によって性能が著しく低下する従来のメディアフォレンジックスの限界を克服する。
• 異種のフォレンジック特徴量を用いて、複数の共有ステップをバックトラッキング可能なスケーラブルで教師ありのフレームワークを開発する。
• 特にTwitterのような特定プラットフォームが共有画像のフォレンジック追跡可能性に与える破壊的影響を調査する。
• 段階的アーキテクチャにおける後段統合戦略を用いて、コンテンツベースとコンテナーベースの特徴量を統合することで、再構築の正確性を向上させる。

提案手法

• 各ブロックがチェーン内の1つの前段階の共有を同定する、バックトラッキングブロックの段階的構造を設計する。
• DCT係数、メタデータ（META）、画像ヘッダーデータ（HEADER）といった異なる特徴表現に対して個別に分類器を学習する。
• 複数の分類器からの意思決定を統合する後段統合戦略を適用し、耐障害性と正確性を向上させる。
• 信号ベースのフォレンジック手がかりを補完するため、画像ファイルヘッダーより抽出した新しいコンテナーベース特徴量を導入する。
• 不確実な予測をフィルタリングするための拒否機構を実装し、特に重要な改良として、Twitterのアップロードを検出すると再構築を停止する。
• 曖昧な共有パターン（例：*-*TW や *TW-*）をより広いクラスに統合する階層的クラス還元戦略を採用し、後段の段階での一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 画像コンテンツおよびコンテナー（ヘッダー）からのフォレンジック特徴量をどの程度組み合わせることで、マルチプラットフォームの共有チェーンを再構築できるか？
• RQ2 Twitterへのアップロードが、チェーン内の前段の共有ステップの追跡可能性にどのように影響するか？
• RQ3 段階的で複数の手がかりを用いた分類フレームワークは、単一特徴量アプローチを上回る性能を発揮できるか？
• RQ4 DCT、メタデータ、ヘッダーといった多様なフォレンジック特徴量を最適に統合する戦略は何か？正確性を最大化するには？
• RQ5 破壊的影響を持つにもかかわらず、Twitterのアップロードを早期に検出することで、全体の再構築性能がどの程度向上するか？

主な発見

• DCT、メタデータ、ヘッダー特徴量の統合により、3段階前のステップ（F_{-2}）で81.05%の正確性を達成し、拒否率は3.77%であった。
• ヘッダー特徴量の導入により、F_{-1}およびF_{-2}での性能が顕著に向上し、DCTとメタデータと統合した場合、90.57%の正確性と0.10%の拒否率を達成した。
• Twitterのアップロードはフォレンジック追跡可能性に著しく破壊的であることが判明し、特に他のプラットフォームに続く場合、高い混乱を引き起こす。
• 情報に基づいた段階的システムにより、特にF_{-2}において拒否率が顕著に低下した。Twitterのアップロードを検出すると再構築を停止することで、曖昧なサブチェーンが解消された。
• 誤分類の原因は主に、同じプラットフォームが連続して使用された場合（例：FB-FB）に生じており、繰り返しのプラットフォーム利用の区別が困難であることが示された。
• 単一分類器では深くまで追跡する際に性能が著しく低下した。DCT単体ではF_{-2}で51.04%の正確性にとどまり、HEADER単体でも56.23%にとどまり、多手がかり統合の必要性が明確になった。