[論文レビュー] Image Credibility Analysis with Effective Domain Transferred Deep Networks

Zhiwei Jin, Juan Cao+2 more|arXiv (Cornell University)|Nov 16, 2016

Misinformation and Its Impacts参考文献 28被引用数 17

ひとこと要約

本稿では、ソーシャルメディアから得た大規模な弱ラベル付き偽画像データセットを補助データセットとして用い、ドメイン転送型の深層畳み込みニューラルネットワーク（CNN）を提案する。AdaBoostに類似した反復的転移学習アルゴリズムを用いて、補助データセットからターゲットタスクへの知識転送を実現し、偽画像の検出性能を向上させる。この手法はImageNetベースの転移学習を上回り、偽画像は一般的に目立つ、低品質で視覚的に混乱をきたす特徴を持つことが明らかになった。

ABSTRACT

Numerous fake images spread on social media today and can severely jeopardize the credibility of online content to public. In this paper, we employ deep networks to learn distinct fake image related features. In contrast to authentic images, fake images tend to be eye-catching and visually striking. Compared with traditional visual recognition tasks, it is extremely challenging to understand these psychologically triggered visual patterns in fake images. Traditional general image classification datasets, such as ImageNet set, are designed for feature learning at the object level but are not suitable for learning the hyper-features that would be required by image credibility analysis. In order to overcome the scarcity of training samples of fake images, we first construct a large-scale auxiliary dataset indirectly related to this task. This auxiliary dataset contains 0.6 million weakly-labeled fake and real images collected automatically from social media. Through an AdaBoost-like transfer learning algorithm, we train a CNN model with a few instances in the target training set and 0.6 million images in the collected auxiliary set. This learning algorithm is able to leverage knowledge from the auxiliary set and gradually transfer it to the target task. Experiments on a real-world testing set show that our proposed domain transferred CNN model outperforms several competing baselines. It obtains superiror results over transfer learning methods based on the general ImageNet set. Moreover, case studies show that our proposed method reveals some interesting patterns for distinguishing fake and authentic images.

研究の動機と目的

• 視覚的に目立つが心理的にも顕著であり、標準的なデータセットにあまり含まれないソーシャルメディア上の偽画像を検出する課題に対処すること。
• 実際のラベル付き偽画像データの不足を補うために、ソーシャルメディアから大規模かつ弱ラベル付きの補助データセットを構築すること。
• 補助データセットからターゲットタスク（画像信用性分析）への知識転送を効果的に行うドメイン適応型の深層学習フレームワークを開発すること。
• テキストベースや低レベルの視覚特徴に基づく手法を超えて、偽画像の高レベルで心理的にインスパイアされた視覚的パターンを学習することで、検出性能を向上させること。

提案手法

• 信用性分析とは間接的に関係するが、本物および偽の画像を含む、0.6百万枚の弱ラベル付き補助データセットをソーシャルメディアから構築する。
• 動的インスタンス重みを割り当てることで特徴転送を改善する、AdaBoostに類似した反復的転移学習アルゴリズムを用いて、補助データセット上でCNNを学習する。
• CNNの学習中に補助データセットおよびターゲットデータセットの両方の重みを同時に最適化することで、反復的ドメイン適応を実現し、知識転送を強化する。
• 学習済みCNNの複数の層（C5、FC6、FC7）から深層特徴を抽出し、ターゲットの信用性分類タスクにおける性能を評価する。
• 転移学習プロセスにおいて重み付きアンサンブル戦略を用い、補助セットおよびターゲットセットからの情報量の多いサンプルを優先する。
• 特にFC7のような深いCNN層の意味的抽象化機能を活用し、画像信用性に関連するタスク固有の特徴を捉える。

実験結果

リサーチクエスチョン

• RQ1 ラベル付き本物画像が不足する状況において、ソーシャルメディアから得た大規模かつ弱ラベル付きの補助データセットが、偽画像検出に有効に機能するか？
• RQ2 重み付きインスタンス選択を伴う反復的ドメイン転送学習は、ImageNetからの標準的転移学習と比較して、偽画像検出性能を向上させるか？
• RQ3 心理的顕著性および知覚的影響の観点から、偽画像と本物画像を区別する視覚的パターンは何か？
• RQ4 タスク関連の補助セットで事前学習したCNNからの深層特徴は、汎用的なImageNetからの特徴を上回る信用性分析性能を発揮するか？
• RQ5 モデルの失敗モードは何か。また、それらは偽画像のパターンを模倣する本物画像の視覚的特徴とどのように関連しているか？

主な発見

• 提案手法のドメイン転送型CNNは、テキストベース手法、BoVW特徴、および標準的転移学習手法（データ、特徴、モデル転送）を含む複数のベースラインを上回る性能を達成した。
• 補助データセットで学習したCNNのFC7層からの特徴を用いることで、最高の正解率0.755を達成した。これは、高レベル特徴が信用性分析においてより効果的であることを示している。
• 0.6百万枚の弱ラベル付き画像で学習した補助データセットは、ImageNetベースの転移学習（FC6で0.719）を著しく上回る性能を発揮した。
• 事例研究により、偽画像は本物の画像と比較して一貫して目立つ、視覚的に混乱をきたしやすく、品質が低いことが明らかになった。これは、知覚的顕著性が重要な区別要因である可能性を示唆している。
• 誤検出事例では、視覚的に目立つ本物の画像が含まれており、モデルが一般化された偽画像に類似したパターンを学習していることが示された。
• モデルの失敗事例は、視覚的特徴に依存するだけでは不十分であり、マルチモーダル統合の必要性を浮き彫りにしている。視覚的に類似した本物の画像が偽画像として誤分類されるケースから、視覚的ヒントに依存するアプローチの限界が明らかになった。