[論文レビュー] Detecting Colorized Images via Convolutional Neural Networks: Toward High Accuracy and Good Generalization

Weize Quan, Dong‐Ming Yan+3 more|arXiv (Cornell University)|Feb 17, 2019

Digital Media Forensic Detection参考文献 47被引用数 4

ひとこと要約

本稿では、2本のブランチを持つ畳み込みニューラルネットワーク（CNN）を用いた深層学習ベースの手法を提案し、特にブラインド検出条件下でも高い精度と優れた一般化性能を達成して、色分けされた画像を検出する。新規の特徴分析ブランチと、線形補間を用いた自動生成されたネガティブサンプルを統合することで、未知の色分けアルゴリズムに対しても優れた性能を発揮し、分類精度を維持したまま高い一般化性能を実現した。

ABSTRACT

Image colorization achieves more and more realistic results with the increasing computation power of recent deep learning techniques. It becomes more difficult to identify the fake colorized images by human eyes. In this work, we propose a novel forensic method to distinguish between natural images (NIs) and colorized images (CIs) based on convolutional neural network (CNN). Our method is able to achieve high classification accuracy and cope with the challenging scenario of blind detection, i.e., no training sample is available from "unknown" colorization algorithm that we may encounter during the testing phase. This blind detection performance can be regarded as a generalization performance. First, we design and implement a base network, which can attain better performance in terms of classification accuracy and generalization (in most cases) compared with state-of-the-art methods. Furthermore, we design a new branch, which analyzes smaller regions of extracted features, and insert it into the above base network. Consequently, our network can not only improve the classification accuracy, but also enhance the generalization in the vast majority of cases. To further improve the performance of blind detection, we propose to automatically construct negative samples through linear interpolation of paired natural and colorized images. Then, we progressively insert these negative samples into the original training dataset and continue to train the network. Experimental results demonstrate that our method can achieve stable and high generalization performance when tested against different state-of-the-art colorization algorithms.

研究の動機と目的

• 深層学習ベースの色分け技術の進化に伴い、自然画像（NIs）と色分け画像（CIs）を区別する課題が増大していることに対処すること。
• トレーニング時にテスト時の色分け手法が不明であるブラインド状況において、検出性能を向上させること。
• 分類精度を損なわせることなく、CNNベースのフォレンジックモデルの一般化能力を向上させること。
• 未知の色分けアルゴリズムに対して頑健な性能を発揮する、効果的で自動的なネガティブトレーニングサンプル生成手法を開発すること。

提案手法

• 最初の層の活性化関数のアブレーションスタディを実施しながら、NI/CI分類のためのベースとなるエンドツーエンドCNNモデルを設計する。
• 局所的な特徴領域を分析する新しいブランチを導入し、色の漏れや単調な色調といった微細なアーティファクトを捉える。
• ペアドされた自然画像と色分け画像の間に線形補間を適用してネガティブサンプルを構築し、現実的な分布のギャップを模倣する。
• これらの合成ネガティブサンプルを段階的にトレーニングセットに挿入することで、モデルの一般化能力を向上させる。
• 標準的な最適化手法を用いて交差エントロピー損失に基づき、エンドツーエンドでネットワークを訓練する。
• 特徴マップと畳み込みカーネルの可視化により、モデルの挙動を解釈し、色の漏れや不自然な色の分布といった検出の手がかりを検証する。

実験結果

リサーチクエスチョン

• RQ1 CNNベースのアプローチは、従来のハンドクラフト特徴手法よりも、色分け画像の検出において優れた性能を発揮できるか？
• RQ2 未知の色分けアルゴリズムに対してテストされる際、ディープラーニングモデルが高い一般化性能を維持できるか？
• RQ3 自動生成されたネガティブサンプルは、フォレンジック分類器のロバストネスをどの程度向上できるか？
• RQ4 モデルは、自然画像と色分け画像を区別するために、どのような視覚的手がかりを学習するか？

主な発見

• 提案された2本のブランチを持つCNNは、既存の最先端手法と比較して、既知および未知の色分けアルゴリズムの両方において、より高い分類精度と優れた一般化性能を達成した。
• 新規の特徴分析ブランチの追加により、色の漏れや不自然な均一な色調といった微細なアーティファクトの検出能力が顕著に向上した。
• 線形補間によるネガティブサンプルの使用は、分類精度の低下を最小限に抑えながら、一般化性能に安定的かつ測定可能な向上効果をもたらした。
• 可視化結果から、モデルが色の漏れや単調な色調が生じる領域に対して強く反応することが確認され、人工的な色分けの主要な兆候として適切に学習していることが裏付けられた。
• 誤分類の主な原因は、彩度が低い自然画像や、豊かで現実的と思われる色を有する色分け画像であり、微細な色のアーティファクトの検出に限界があることが示唆された。