[論文レビュー] When LLM Meets Hypergraph: A Sociological Analysis on Personality via Online Social Networks

Zhiyao Shu, Xiangguo Sun+1 more|arXiv (Cornell University)|Jul 4, 2024

Impact of Technology on Adolescents被引用数 4

ひとこと要約

本論文は、ユーザーをノード、社会的環境をハイパーエッジとしてモデル化することで、オンラインソーシャルネットワークにおけるパーソナリティ特徴の分析を可能にする、革新的な社会学的枠組みを提案する。大規模言語モデル（LLMs）を活用して散在するユーザー情報を一貫したプロファイルに統合し、ハイパーグラフニューラルネットワーク（HGNNs）で複雑な多対多の相互作用を捉えることで、新しいハイパーグラフ構造とパーソナリティラベルを備えた豊富にアノテートされたデータセット上で検証された結果、パーソナリティ予測において顕著な性能向上を達成した。

ABSTRACT

Individual personalities significantly influence our perceptions, decisions, and social interactions, which is particularly crucial for gaining insights into human behavior patterns in online social network analysis. Many psychological studies have observed that personalities are strongly reflected in their social behaviors and social environments. In light of these problems, this paper proposes a sociological analysis framework for one's personality in an environment-based view instead of individual-level data mining. Specifically, to comprehensively understand an individual's behavior from low-quality records, we leverage the powerful associative ability of LLMs by designing an effective prompt. In this way, LLMs can integrate various scattered information with their external knowledge to generate higher-quality profiles, which can significantly improve the personality analysis performance. To explore the interactive mechanism behind the users and their online environments, we design an effective hypergraph neural network where the hypergraph nodes are users and the hyperedges in the hypergraph are social environments. We offer a useful dataset with user profile data, personality traits, and several detected environments from the real-world social platform. To the best of our knowledge, this is the first network-based dataset containing both hypergraph structure and social information, which could push forward future research in this area further. By employing the framework on this dataset, we can effectively capture the nuances of individual personalities and their online behaviors, leading to a deeper understanding of human interactions in the digital world.

研究の動機と目的

• ユーザーのデータが散在しており、従来の個別レベルのアプローチが環境要因を捉えきれないオンラインソーシャルネットワークにおけるパーソナリティ特徴の分析という課題に対処すること。
• 単に孤立したユーザーのデータに注目するのではなく、パーソナリティ、行動、社会的環境の相互作用をモデル化する社会学的枠組みを構築すること。
• ユーザーのプロフィール、パーソナリティ特徴、行動記録、検出された社会的環境をハイパーグラフ構造とともに統合した包括的かつ高品質なデータセットを作成すること。
• LLMsの関連推論能力とHGNNの構造モデリング能力を組み合わせることで、パーソナリティ分析の性能を向上させること。
• 環境ベースのモデリングを通じて、デジタル環境における人間行動のより深く、洗練された理解を可能にすること。

提案手法

• 外部の知識を活用して、散在する低品質なユーザー情報を統合し、より高品質で一貫性のあるパーソナリティプロファイルに変換するよう、注意深く設計されたプロンプトを用いた大規模言語モデル（LLMs）を活用する。
• ユーザーをノード、社会的環境（例：コミュニティ、コンテンツタイプ）をハイパーエッジとして用い、複数ユーザー・複数環境の相互作用をモデル化可能なハイパーグラフを構築する。
• ユーザーとその社会的環境間の複雑な非ペアワイズ関係を捉えることで、ユーザーの表現を学習するハイパーグラフニューラルネットワーク（HGNN）を設計する。
• ユーザーのプロフィール、パーソナリティ特徴（例：MBTI）、行動ログ、検出された社会的環境を含む、新たに収集されたデータセット上でHGNNを訓練する。
• LLMによって生成されたプロファイルを入力特徴として用い、HGNNの不完全で散在するデータからのパーソナリティ特徴の推論能力を強化する。
• 訓練データの比率を変化させながら、標準的な指標（正解率、AUC）を用いてフレームワークの性能を評価し、耐障害性とスケーラビリティを検証する。

実験結果

リサーチクエスチョン

• RQ1 オンラインソーシャルネットワークにおける散在的かつ低品質なユーザー情報は、どのようにして一貫したパーソナリティプロファイルに統合できるか？
• RQ2 ハイパーグラフニューラルネットワークは、ユーザーとその社会的環境との間の複雑な多対多の相互作用をどの程度正確にモデル化できるか？
• RQ3 LLMsとHGNNの統合は、個別レベルのベースラインと比較して、顕著にパーソナリティ特徴の予測性能を向上させることができるか？
• RQ4 特に訓練データが限られた状況下で、提案されたフレームワークはどの程度の性能を示すか？
• RQ5 社会的文脈、特に社会的環境を組み込むことで、パーソナリティ分析の性能にどのような影響が生じるか？

主な発見

• 提案されたLLM-HGNNフレームワークは、完全なデータセットで訓練した際、パーソナリティ特徴予測において顕著な性能向上を達成した。
• 訓練データが50％にまで減少しても、モデルは依然として高い性能を維持しており、データ不足に対する耐性が確認された。これに対して、ベースラインモデルは同様の条件下で顕著な性能低下を示した。
• 訓練データ量の増加とモデル性能の向上の間に正の相関が認められ、より大規模で豊富なデータセットが学習と一般化能力の向上に寄与することが示された。
• LLMによって生成されたプロファイルの統合は、入力表現の質を顕著に向上させ、不完全なデータからも洗練されたパーソナリティ特徴をよりよく捉えることを可能にした。
• ハイパーグラフ構造は、非ペアワイズの複雑な社会的相互作用を効果的にモデル化できており、ペアワイズ関係に限定される従来のGNNを上回る性能を示した。
• ハイパーグラフ構造を備えた社会的環境とパーソナリティラベルを含む、新たに公開されたデータセットは、類似のものがない画期的なものであり、今後の社会学的およびパーソナリティ分析研究の貴重なリソースを提供する。