[論文レビュー] Everything About You: A Multimodal Approach towards Friendship Inference in Online Social Networks

Tahleen Rahman, Mario Fritz+2 more|arXiv (Cornell University)|Mar 2, 2020

Social Media and Politics参考文献 43被引用数 4

ひとこと要約

本稿では、画像、テキスト、ハッシュタグ、位置情報、既存の友人関係を統合することで、オンラインソーシャルネットワークにおける友情関係の推定を目的としたマルチモーダルフレームワークを提案する。2200万件の投稿を含む実世界のInstagramデータセットを用いて、マルチモーダルアタックはAUCが0.9を超える結果を達成し、モノモーダル手法を著しく上回った。これは、複数のデータタイプを統合的に悪用する攻撃に対する包括的なプライバシー防御の必要性を示している。

ABSTRACT

Most previous works in privacy of Online Social Networks (OSN) focus on a restricted scenario of using one type of information to infer another type of information or using only static profile data such as username, profile picture or home location. However the multimedia footprints of users has become extremely diverse nowadays. In reality, an adversary would exploit all types of information obtainable over time, to achieve its goal. In this paper, we analyse OSN privacy by jointly exploiting longterm multimodal information. We focus in particular on inference of social relationships. We consider five popular components of posts shared by users, namely images, hashtags, captions, geo-locations and published friendships. Large scale evaluation on a real-world OSN dataset shows that while our monomodal attacks achieve strong predictions, our multimodal attack leads to a stronger performance with AUC (area under the ROC curve) above 0.9. Our results highlight the need for multimodal obfuscation approaches towards protecting privacy in an era where multimedia footprints of users get increasingly diverse.

研究の動機と目的

• オンラインソーシャルネットワークにおけるユーザーが長期間にわたり共有する包括的かつ長期的なマルチモーダルコンテンツから生じるプライバシーリスクを評価すること。
• 画像、テキスト、ハッシュタグ、位置情報、既存の友人関係といった複数のモダリティを統合することで、単一モダリティ手法を上回る友情推定が可能かどうかを調査すること。
• ハッシュタグ、画像、テキストキャプションに基づく新たなモノモーダルアタックを提案・評価し、友情推定に応用すること。
• すべての5つの要素（画像、テキスト、ハッシュタグ、位置情報、既存の友人関係）を統合する、より強固なマルチモーダル統合フレームワークを設計・評価すること。
• マルチモーダルアタックの強固さとスケーラビリティが、データの可用性やユーザーの投稿行動の変動にどのように影響を受けるかを検証すること。

提案手法

• ハッシュタグの共起パターンに基づく、NLPを用いた統計的特徴（例：エントロピー、頻度）を抽出するキャプション分析、画像から意味的埋め込みを抽出する深層学習（ResNet）の3つの新たなモノモーダル友情推定攻撃を提案する。
• 画像、テキスト、ハッシュタグ、位置情報、既存の友人関係の5つの要素の予測結果を統合し、単一の統一された推定モデルに統合するマルチモーダル統合メカニズムを採用する。
• 実世界のInstagramデータセット（2つの都市からなる2200万件のユーザー投稿）を用いて、すべてのモデルを現実的な条件下で訓練および評価する。
• 最先端の技術を適用：画像特徴抽出にはResNet-50、テキスト処理にはTF-IDFおよびエントロピーに基づく特徴、ハッシュタグ分析には二部グラフ埋め込みを用いる。
• ROC-AUCを主な評価指標として用い、モノモーダルおよびマルチモーダルアタックの性能を比較する。
• データの可用性が変動するサブセットを用いたテストにより、モダリティの統合によって性能が一貫して向上することを検証する。

実験結果

リサーチクエスチョン

• RQ1 ハッシュタグの共起パターンは、オンラインソーシャルネットワークにおける社会的関係の推定に有効に活用できるか？
• RQ2 テキストキャプションと画像コンテンツを個別に用いた場合、どれほど高い精度で友情関係を推定できるか？
• RQ3 画像、テキスト、ハッシュタグ、位置情報、既存の友人関係といった複数のモダリティを統合することで、モノモーダル手法に比べて友情推定の精度はどの程度向上するか？
• RQ4 マルチモーダル推定環境において、ユーザー生成コンテンツのどの要素が最も相乗効果を発揮するか？
• RQ5 ユーザー1人あたりの共有データ量が変動する状況下でも、マルチモーダル友情推定攻撃はどの程度の強度を保っているか？

主な発見

• ハッシュタグベースのモノモーダルアタックはAUC 0.86を達成し、先行研究より7ポイント以上優れていた。
• テキストベースのアタックはAUC 0.83を達成し、言語的特徴が友情推定において予測力を持つことを示した。
• 画像ベースのアタックはAUC 0.637を達成し、視覚的コンテンツ単体でも友情推定に有効な信号を提供することが確認されたが、他の手法に比べて効果は低いことが判明した。
• すべての5つの要素を統合したマルチモーダルアタックは、LAデータセットでAUC 0.92を達成し、最高のモノモーダル結果（ハッシュタグから得た0.8555）を大きく上回った。
• 相補的なモダリティの統合により顕著な性能向上が得られ、追加の各モダリティが全体の推定精度を向上させた。
• データの可用性が制限されてもマルチモーダルアタックは強固な性能を維持しており、多様なユーザー行動に応じた実用的脅威としての潜在的影響を示している。