[論文レビュー] Privacy Prediction of Images Shared on Social Media Sites Using Deep Features

Ashwini Tonge, Cornelia Caragea|arXiv (Cornell University)|Oct 29, 2015

Privacy-Preserving Technologies in Data参考文献 21被引用数 9

ひとこと要約

本論文は、事前学習された畳み込みニューラルネットワークからの深層特徴と自動生成された深層画像タグを活用することで、ソーシャルメディアで共有される画像のプライバシー設定を予測する深層学習ベースの手法を提案する。従来の特徴量（SIFT や GIST）およびユーザーが提供するタグよりも優れた性能を示し、WordNet を用いた意味的タグ拡張を組み合わせることで 83.14% の精度を達成した。

ABSTRACT

Online image sharing in social media sites such as Facebook, Flickr, and Instagram can lead to unwanted disclosure and privacy violations, when privacy settings are used inappropriately. With the exponential increase in the number of images that are shared online every day, the development of effective and efficient prediction methods for image privacy settings are highly needed. The performance of models critically depends on the choice of the feature representation. In this paper, we present an approach to image privacy prediction that uses deep features and deep image tags as feature representations. Specifically, we explore deep features at various neural network layers and use the top layer (probability) as an auto-annotation mechanism. The results of our experiments show that models trained on the proposed deep features and deep image tags substantially outperform baselines such as those based on SIFT and GIST as well as those that use "bag of tags" as features.

研究の動機と目的

• Facebook や Flickr、Instagram などのソーシャルメディアプラットフォームで、個人の画像が制御不能に共有されることによるプライバシー侵害リスクの増大に対処すること。
• 視覚的および意味的コンテンツに基づいて、画像が公開用か非公開用かを自動かつ正確に予測する手法を開発すること。
• SIFT や GIST のような手作業で設計された特徴量に依存する従来のプライバシー予測モデルは、非公開クラスにおいて低い性能を示すため、それらを改善すること。
• 事前学習された深層ニューラルネットワークの複数の層からの深層特徴の有効性を検証し、最終層の確率出力を用いて自動的に画像タグを付与する仕組みを構築すること。
• タグの意味的構造と共起パターンを分析し、WordNet を用いた意味的拡張によってプライバシー予測の性能を向上させること。

提案手法

• ImageNet の ILSVRC-2012 データセット上で事前学習された 8 層の深層ニューラルネットワークを用い、複数の中間層および最終のソフトマックス層から深層特徴を抽出する。
• 最終層の 1000 個の ImageNet クラスに対する確率分布を、自動タグ付与メカニズムとして扱う。
• 最終層の上位-k 確率スコアを深層タグとして抽出し、これらをプライバシー分類の入力特徴として使用する。
• 深層特徴とユーザーが提供するタグを組み合わせ、WordNet からの上位概念（hypernyms）、下位概念（hyponyms）、同義語（synonyms）を追加することで意味的拡張を実施し、特徴表現を向上させる。
• タグの共起グラフ解析を実施し、公開画像と非公開画像を区別する文脈依存的なタグ関連性を同定する。
• 組み合わせた特徴セットを用いて二値分類器（例：SVM やランダムフォレスト）を学習・評価し、画像のプライバシー設定を予測する。

実験結果

リサーチクエスチョン

• RQ1 事前学習された CNN からの深層特徴は、SIFT や GIST のような従来の手作業特徴よりも、画像のプライバシー設定を予測する際に優れた性能を示すか？
• RQ2 ネットワークの最終層確率から導出される自動生成タグ（深層タグ）は、プライバシー予測精度の向上にどの程度有効か？
• RQ3 WordNet を用いた意味的拡張（上位概念・同義語・下位概念の追加）は、モデルの性能をどの程度向上させるか？
• RQ4 公開画像と非公開画像の間で、タグおよび特徴にどのような意味的・視覚的パターンの差が見られるか？
• RQ5 個々のタグが両クラスに共通して存在する場合、タグの共起パターンは、プライバシー予測の曖昧さを解消するのに有効か？

主な発見

• 深層特徴と深層画像タグを用いたモデルは 83.14% の精度を達成し、SIFT や GIST、ユーザーが提供するタグを用いたベースラインよりも顕著に優れた性能を示した。
• 事前学習された CNN の最終層からの深層特徴に加え、上位 10 個の確率スコアをタグとして使用した組み合わせが、全テストされた特徴組み合わせの中で最高の性能を示した。
• タグの共起解析から、重複するタグ（例：'people' や 'photo'）が文脈的に異なる関連性を持つことが明らかになった：非公開画像では 'photo' が 'portrait' や 'bikini' と共起するが、公開画像では 'nature' や 'travel' と共起する。
• WordNet の上位概念による意味的拡張は、性能向上に顕著な寄与を示さなかった。深層タグ + ユーザータグのベースラインで 83.14% の精度を達成しており、上位概念追加による F1 スコアはわずか 0.5% 減少（0.822 に低下）にとどまった。
• 非公開画像は、'people' や 'clothing'（例：'bikini', 'maillot'）および 'portrait' に関連するタグを多く含む傾向があり、公開画像は 'nature'、'landscapes'、'travel' 関連語を特徴とする。
• 本研究は、プライバシー予測タスクにおいて、従来の視覚的記述子やユーザー生成タグよりも、深層特徴と深層タグがより情報量が多いことを示した。