[論文レビュー] Modeling Emotion Influence from Images in Social Networks

Xiaohui Wang, Jia Jia+2 more|arXiv (Cornell University)|Jan 17, 2014

Image Retrieval and Classification Techniques参考文献 14被引用数 3

ひとこと要約

本稿では、視覚的コンテンツ、時間的感情パターン、ソーシャルネットワーク効果を統合することで、ソーシャルネットワーク内の画像からの感情への影響を捉える確率的要因グラフモデルを提案する。このモデルはSVMに比べて感情予測の正確性を5%向上させ、Flickrのようなプラットフォームにおける画像ベースの感情分類において、ソーシャルインフルエンスが顕著に寄与することを示している。

ABSTRACT

Images become an important and prevalent way to express users' activities, opinions and emotions. In a social network, individual emotions may be influenced by others, in particular by close friends. We focus on understanding how users embed emotions into the images they uploaded to the social websites and how social influence plays a role in changing users' emotions. We first verify the existence of emotion influence in the image networks, and then propose a probabilistic factor graph based emotion influence model to answer the questions of "who influences whom". Employing a real network from Flickr as experimental data, we study the effectiveness of factors in the proposed model with in-depth data analysis. Our experiments also show that our model, by incorporating the emotion influence, can significantly improve the accuracy (+5%) for predicting emotions from images. Finally, a case study is used as the anecdotal evidence to further demonstrate the effectiveness of the proposed model.

研究の動機と目的

• 画像ベースのソーシャルネットワーク（Flickrなど）に感情の影響が存在するかどうかを調査すること。
• 友人のアップロードした画像がユーザーの感情に与える影響を捉える、整合的な確率的モデルを構築すること。
• ソーシャルインフルエンス、視覚的特徴、時間的ダイナミクスを統合することで、画像からの感情予測の正確性を向上させること。
• 実際のFlickrデータと事例研究を用いた実証的評価を通じて、モデルの有効性を検証すること。

提案手法

• 感情の影響を統合的にモデル化するため、確率的要因グラフモデルを提案。視覚的特徴（コンテンツ相関）、時間的相関（過去の感情）、ソーシャル相関（友人の影響）という3つの主要要因を統合する。
• 友人の感情がユーザーの感情に与える影響を要因関数で表現し、即時の影響、安定的影響、一時的影響という特定のパターンに対応する関数を設定する。
• 要因グラフ上で最大後確信度（MAP）推定を用いて感情予測を実行し、画像、ユーザー履歴、ソーシャルネットワーク構造からの証拠を統合する。
• 本モデルは、12週間にわたり4,725人のユーザーがアップロードした125万枚の画像を含む実際のFlickrデータセットを用いて訓練および評価された。
• 各要因（視覚的、時間的、ソーシャル）が予測性能に与える寄与度を評価するため、特徴選択とアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 ユーザーが感情を表現するために画像を共有する画像ベースのソーシャルネットワークにおいて、感情の影響が存在するか？
• RQ2 感情が画像を通じて表現される場合、ユーザー間のソーシャルインフルエンスはどのようにモデル化され、定量的に測定できるか？
• RQ3 視覚的特徴、時間的感情パターン、ソーシャルネットワーク構造は、感情予測の正確性をどの程度向上させるか？
• RQ4 即時的、安定的、一時的といった、どのソーシャルインフルエンスのパターンが感情予測に最も寄与しているか？

主な発見

• マッチドサンプリングテストの結果、ユーザーの友人が「幸せ」の画像を2通以上アップロードしている場合、そのユーザー自身が「幸せ」の画像をアップロードする確率はほぼ2倍に上昇することが確認された。
• 提案されたモデルはSVMに比べて感情予測の正確性を5%向上させ、全感情カテゴリにおいてF1スコアの顕著な向上を示した。
• 「安定的影響」要因（f5）が最も性能向上に寄与しており、感情的影響が一時的ではなく、長期にわたって持続することを示している。
• ソーシャルインフルエンス要因（Model-f4）を除外した場合、性能低下が最も顕著に観察されたことから、本モデルにおいてソーシャル相関が最も影響力が強い要因であることが確認された。
• ユーザーMikeの事例研究では、モデルが視覚的および時間的観察（画像コンテンツとタイミング）と整合する双方向の感情影響（例：Mikeから友人dへの影響）を正しく推論した。