[論文レビュー] High dynamic range image forensics using cnn

Yongqing Huo, Xiaofeng Zhu|arXiv (Cornell University)|Feb 28, 2019

Digital Media Forensic Detection参考文献 13被引用数 5

ひとこと要約

本論文は、複数のLDR画像から合成されたHDR画像と、単一のLDR画像からの逆トーンマッピングによって生成されたHDR画像を区別する、深層学習に基づく最初の手法を提案する。この手法は、カスタム設計された畳み込みニューラルネットワーク（CNN）を用いて統計的特徴の変化を学習し、従来の統計的手法に比べて、画像の出所同定タスクにおいて優れた性能を達成する。

ABSTRACT

High dynamic range (HDR) imaging has recently drawn much attention in multimedia community. In this paper, we proposed a HDR image forensics method based on convolutional neural network (CNN).To our best knowledge, this is the first time to apply deep learning method on HDR image forensics. The proposed algorithm uses CNN to distinguish HDR images generated by multiple low dynamic range (LDR) images from that expanded by single LDR image using inverse tone mapping (iTM). To do this, we learn the change of statistical characteristics extracted by the proposed CNN architectures and classify two kinds of HDR images. Comparision results with some traditional statistical characteristics shows efficiency of the proposed method in HDR image source identification.

研究の動機と目的

• HDR画像フォレンジックスにおける深層学習アプローチの不足に対処すること。
• HDR画像の出所を特定すること——具体的には、複数のLDR画像から生成されたものか、または単一のLDR画像からの逆トーンマッピングによって生成されたものかを特定すること。
• エンドツーエンドの深層学習を用いて、HDR画像の出所同定の精度を向上させること。
• CNNベースのフレームワークを用いて、HDR画像の統計的特性の変化を分析・分類すること。

提案手法

• HDR画像内の統計的特徴の変化を抽出・学習するために、独自に設計された畳み込みニューラルネットワーク（CNN）アーキテクチャを構築した。
• ネットワークは、複数のLDR画像から生成されたHDR画像と、単一のLDR画像からの逆トーンマッピング（iTM）によって生成されたHDR画像の2つのカテゴリに分類するように訓練された。
• CNNの階層的特徴抽出機能を活用して、2つのカテゴリ間でのHDR画像の統計的特性を学習・比較した。
• 教師あり分類を用い、生成元が明確に分かっているHDR画像データセットを用いて、モデルを訓練および評価した。
• CNNの階層的表現学習の特徴を活かして、手作業で設計された特徴では捉えにくい微細な画像統計の違いを検出できるようにした。
• 分類精度の優位性を示すために、従来の統計的特徴ベースの手法と性能を比較評価した。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、複数のLDR画像から生成されたHDR画像と、単一のLDR画像からの逆トーンマッピングによって作成されたHDR画像を効果的に区別できるか？
• RQ2 複数LDRと単一LDRの生成源におけるHDR画像の統計的特性はどのように異なるのか？ そして、これらの差異はCNNによって効果的に捉えられるか？
• RQ3 CNNベースのアプローチは、従来の統計的特徴ベースの手法に比べ、HDR画像の出所同定において優れた性能を示すか？
• RQ4 エンドツーエンドの深層学習は、古典的なフォレンジック手法に比べて、HDR画像フォレンジックス分野でどの程度の性能向上をもたらすか？

主な発見

• 提案されたCNNベースの手法は、従来の統計的特徴ベースのアプローチに比べ、HDR画像の出所を区別する分類精度が優れている。
• モデルは、異なるプロセスで生成されたHDR画像に内在する微細な統計的差異を効果的に学習・活用できた。
• 深層学習の活用により、手動で設計された統計的特徴に依存する必要が軽減され、自動的かつ頑健な特徴学習が可能になった。
• 結果から、CNNをHDR画像フォレンジックスに応用することが実現可能で、かつ有効であることが示された。これは、この分野における深層学習の新しい応用例を示している。