[論文レビュー] Deep Inference of Personality Traits by Integrating Image and Word Use in Social Networks

Guillem Cucurull, Pau Rodríguez+4 more|arXiv (Cornell University)|Feb 6, 2018

Topic Modeling参考文献 28被引用数 6

ひとこと要約

本稿では、ビッグファイブ（OCEAN）性格理論に関連する語と画像の相関を活用することで、ソーシャルメディアの画像から性格特性を推定する深層学習フレームワークを提案する。『外向性』のための『バー』や『勤勉性』のための『野菜』といった、特性に関連する語とペairedされた画像を用いて訓練することで、ニューラルネットワークが視覚的コンテンツから性格特性を正確に分類できることを示しており、性格が画像分布の背後要因であることを確認した。

ABSTRACT

Social media, as a major platform for communication and information exchange, is a rich repository of the opinions and sentiments of 2.3 billion users about a vast spectrum of topics. To sense the whys of certain social user's demands and cultural-driven interests, however, the knowledge embedded in the 1.8 billion pictures which are uploaded daily in public profiles has just started to be exploited since this process has been typically been text-based. Following this trend on visual-based social analysis, we present a novel methodology based on Deep Learning to build a combined image-and-text based personality trait model, trained with images posted together with words found highly correlated to specific personality traits. So the key contribution here is to explore whether OCEAN personality trait modeling can be addressed based on images, here called \emph{Mind{P}ics}, appearing with certain tags with psychological insights. We found that there is a correlation between those posted images and their accompanying texts, which can be successfully modeled using deep neural networks for personality estimation. The experimental results are consistent with previous cyber-psychology results based on texts or images. In addition, classification results on some traits show that some patterns emerge in the set of images corresponding to a specific text, in essence to those representing an abstract concept. These results open new avenues of research for further refining the proposed personality model under the supervision of psychology experts.

研究の動機と目的

• 特定の心理的意味を持つ語と相関する画像から、ソーシャルネットワーク上の画像から性格特性を推定できるかを調査すること。
• テキスト分析に依存せず、画像とテキストの信号を統合するマルチモーダル深層学習フレームワークを構築し、性格特性をモデル化すること。
• 性格特性と強く相関する語（例：『飲酒』が外向性と関連）と関連する画像に、検出可能な心理的信号が内在しているかを検証すること。
• 視覚的外観が大きく異なる画像であっても、開かれた性向性や神経症傾向といった抽象的な性格次元を画像コンテンツが反映できるかを調査すること。
• 視覚的に根拠づけられ、心理学的にアノテートされたデータを活用して、心理学専門家と協働することで、性格推定モデルの精緻化に向けた新たな研究分野を切り開くこと。

提案手法

• 先行心理学者研究（例：Yarkoni, 2011）で特定された、ビッグファイブ性格特性と強く相関する語と関連するソーシャルネットワーク上の画像を収集する。
• 既存研究から得られた語から性格へのマッピングを用い、画像検索クエリを定義する。例えば、外向性のための『バー』や神経症傾向のための『ひどい』といった語を用いる。
• 取得した画像から視覚的表現を学習し、性格特性カテゴリに分類するために、深層ニューラルネットワーク（特に畳み込みニューラルネットワーク）を適用する。
• 画像 $ I $ と性格特性に関連する語 $ t $ の条件付き確率 $ p(I|t) $ をモデル化することで、特定の特性と最も関連する画像を同定する。
• 既知の特性語との関連を教師信号として、画像特徴量と語の分散表現（word embeddings）を統合して、エンドツーエンドでモデルを訓練する。
• 分類精度の定量的評価と、高得点・低得点サンプルの視覚的検査を含む、画像検索結果の定性的分析を併用して、モデルの妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 性格特性と強く相関する語（例：『バー』が外向性と関連）と関連する画像を用いることで、高い正確性でその特性を推定できるか？
• RQ2 抽象的で心理的意味を持つ概念（例：『開かれた性向性』や『神経症傾向』）に関連する画像に、一貫した視覚的パターンが存在するか？
• RQ3 特定の言語的キーワードを条件として与えた場合、画像特徴と性格特性との相関がどの程度強いか。これは、共通の背後要因が存在することを示唆する。
• RQ4 語で条件づけられた画像データセットを用いて訓練された場合、深層ニューラルネットワークが画像コンテンツから性格特性を効果的にマッピングできるか？
• RQ5 性格特性に関連する語を用いて検索された画像が、対応する特性の心理的定義（例：『勤勉性』のための『野菜』）を意味的に反映しているか？

主な発見

• 性格特性と強く相関する語（例：『バー』『飲酒』『コンサート』）とペairedされた画像は、外向性といったビッグファイブ性格特性と強い視覚的関連を示している。
• 本モデルは、従来のテキストベースまたは画像ベースのアプローチと同等の性能で、性格特性を画像から分類でき、画像ベース性格推定の可能性を裏付けた。
• 非常に勤勉な人々は、野菜、運動、日常的活動の画像と関連づけられており、この特性の心理学的定義と整合的である。
• 外向性は、集まりやバー、パーティーの画像と強く関連しており、低外向性は、読書や編み物といった単独行動の画像と関連している。
• 『開かれた性向性』に関連する画像は、風景、本、芸術、テキストなど多様な視覚的要素を含んでおり、この特性の抽象的性質を反映しているが、モデルは依然として意味的なパターンを同定できた。
• クラス内変動が大きく、クラス間で視覚的に類似した画像（例：高・低開かれた性向性の両方にテキストが含まれる）が存在する中でも、モデルは良好に一般化しており、視覚データから意味的コンテンツを学習可能であることが示された。