[論文レビュー] A Hybrid Approach to Video Source Identification

Massimo Iuliani, Marco Fontani+2 more|arXiv (Cornell University)|May 4, 2017

Digital Media Forensic Detection参考文献 9被引用数 8

ひとこと要約

本論文は、静止画から得られるセンサーパターンノイズ（SPN）を活用して、インカメラ内デジタル補正が施されたスマートフォンからの動画を含む動画のソースを同定するハイブリッドな動画ソース同定手法を提案する。本手法は非補正動画において最先端の性能を達成し、従来不可能とされてきた補正済み動画に対しても、18台の最新機器を対象に画像と動画のSPN間の幾何的関係をモデル化することで、信頼性の高いソース同定を可能にする。

ABSTRACT

Multimedia Forensics allows to determine whether videos or images have been captured with the same device, and thus, eventually, by the same person. Currently, the most promising technology to achieve this task, exploits the unique traces left by the camera sensor into the visual content. Anyway, image and video source identification are still treated separately from one another. This approach is limited and anachronistic if we consider that most of the visual media are today acquired using smartphones, that capture both images and videos. In this paper we overcome this limitation by exploring a new approach that allows to synergistically exploit images and videos to study the device from which they both come. Indeed, we prove it is possible to identify the source of a digital video by exploiting a reference sensor pattern noise generated from still images taken by the same device of the query video. The proposed method provides comparable or even better performance, when compared to the current video identification strategies, where a reference pattern is estimated from video frames. We also show how this strategy can be effective even in case of in-camera digitally stabilized videos, where a non-stabilized reference is not available, by solving some state-of-the-art limitations. We explore a possible direct application of this result, that is social media profile linking, i.e. discovering relationships between two or more social media profiles by comparing the visual contents - images or videos - shared therein.

研究の動機と目的

• インカメラ内デジタル補正が施されたスマートフォンからの動画ソースを同定する課題に取り組むこと。特に、動画から直接SPNを抽出できない状況を想定する。
• 機器固有の動画学習データを必要としない制限を克服するため、静止画を動画のフィンガープrintとしての代理として使用すること。
• 補正済みおよび非補正済みデバイスを含む多様なスマートフォンにおいて、画像と動画のSPN間の幾何的モデルを確立すること。
• Facebookの画像とYouTubeの動画といった、異なるプラットフォーム間のソース同定を、統一されたフィンガープrint手法で可能にすること。
• 18台のデバイスからなる339本の動画および5,289枚の画像を含む大規模データセットを構築・公開し、マルチメディアフォレンジックス分野の今後の研究を支援すること。

提案手法

• 同じデバイスが撮影した高品質な静止画からセンサーパターンノイズ（SPN）フィンガープリントを推定し、これを動画ソースフィンガープリントの代理として扱う。
• 正規化相互相関を用いて、画像と動画のSPN間の幾何的変換（スケーリング、クロッピング、回転）をモデル化し、異なるモodal 間でのフィンガープリントを一致させる。
• スケールおよび回転パラメータのブルートフォースサーチを実行し、ピーク正規化相互相関を一致度指標として用いて、画像由来SPNと動画SPNをマッチングする。
• 複数の動画フレームにわたる一致スコアを、しきい値ベースの統合戦略（統合しきい値τ）を用いて集約することで、耐障害性を向上させ、誤検出を低減する。
• SPNパッチ間の類似度を計算するために、ゼロパディングを施した正規化相互相関を用い、ρpeak(𝐗, 𝐘)を主な一致スコアとする。
• スマートフォンのカメラが画像と動画に同じセンサーを使用していることを利用し、補正が施されてもモダリティ間でのSPNの移行が可能であることを活用する。

実験結果

リサーチクエスチョン

• RQ1 動画自体が使用可能な非補正SPNを提供できない場合でも、静止画由来のSPNを信頼性を持って動画ソース同定に利用できるか？
• RQ2 インカメラ内デジタル補正を備えた最新スマートフォンを含む、多様なスマートフォンにおいて、画像と動画のSPN間の幾何的関係はどのようなものか？
• RQ3 異なる品質レベルのプラットフォーム（例：FacebookとYouTube）間で、画像と動画コンテンツを統合的に同定するハイブリッドアプローチはどの程度有効か？
• RQ4 低品質な画像リファレンスを用いた場合、信頼性の高いソース同定を達成するために必要な最小動画フレーム数はどの程度か？
• RQ5 従来のSPN抽出が失敗するインカメラ内デジタル補正済み動画のソース同定において、本手法が高い正確性を達成できるか？

主な発見

• YouTube動画から1,000フレームを用いて動画フィンガープリントを推定した場合、AUCが0.88に達し、従来の動画ベースSPN手法と同等またはそれを上回る性能を示した。
• Facebookの低品質画像をリファレンスとして使用した場合、1,000フレームの動画を使用することでAUCが0.86に達し、劣化したリファレンス品質を補うためにフレーム数を増やすことが有効であることを示した。
• 最適な統合しきい値τ = 38を用いることで、インカメラ内デジタル補正済みYouTube動画のソース同定において、全体で87.3％の正確性を達成した。
• 直接動画からSPNを抽出できない最近のApple機器の補正済み動画に対しても、本手法はソース同定に成功した。
• 300フレーム未満では性能が著しく低下するため、信頼性のあるフィンガープリント推定には最低限のフレーム数が必要であることが示された。
• 18台の最新スマートフォンにおいて、画像と動画のSPN間には一貫した幾何的関係が存在することが判明し、信頼性の高い一致とアライメントが可能となった。