[논문 리뷰] When LLM Meets Hypergraph: A Sociological Analysis on Personality via Online Social Networks

Zhiyao Shu, Xiangguo Sun외 1명|arXiv (Cornell University)|2024. 07. 04.

Impact of Technology on Adolescents인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)과 초그래프 신경망(Hypergraph Neural Networks, HGNNs)을 통합하여 온라인 소셜 네트워크에서 성격 특성 분석을 위한 새로운 사회학적 프레임워크를 제안한다. 사용자를 노드로, 사회적 환경을 초모서리로 모델링함으로써, LLM을 활용해 산산이 흩어진 사용자 데이터를 일관된 프로필로 통합하고, HGNN을 통해 복잡한 다자간 상호작용을 포착함으로써 성격 예측 성능을 크게 향상시켰다. 이는 초그래프 구조와 성격 레이블을 갖춘 새로운 풍부하게 주석 처리된 데이터셋을 기반으로 검증되었다.

ABSTRACT

Individual personalities significantly influence our perceptions, decisions, and social interactions, which is particularly crucial for gaining insights into human behavior patterns in online social network analysis. Many psychological studies have observed that personalities are strongly reflected in their social behaviors and social environments. In light of these problems, this paper proposes a sociological analysis framework for one's personality in an environment-based view instead of individual-level data mining. Specifically, to comprehensively understand an individual's behavior from low-quality records, we leverage the powerful associative ability of LLMs by designing an effective prompt. In this way, LLMs can integrate various scattered information with their external knowledge to generate higher-quality profiles, which can significantly improve the personality analysis performance. To explore the interactive mechanism behind the users and their online environments, we design an effective hypergraph neural network where the hypergraph nodes are users and the hyperedges in the hypergraph are social environments. We offer a useful dataset with user profile data, personality traits, and several detected environments from the real-world social platform. To the best of our knowledge, this is the first network-based dataset containing both hypergraph structure and social information, which could push forward future research in this area further. By employing the framework on this dataset, we can effectively capture the nuances of individual personalities and their online behaviors, leading to a deeper understanding of human interactions in the digital world.

연구 동기 및 목표

• 사용자 데이터가 산산이 흩어져 있고 전통적인 개인 수준의 접근 방식이 환경적 영향을 포착하지 못하는 온라인 소셜 네트워크에서 성격 특성을 분석하는 데 도전하는 것.
• 고립된 사용자 데이터에만 집중하는 것이 아니라 성격, 행동 및 사회적 환경 간의 상호작용을 모델링하는 사회학적 프레임워크를 개발하는 것.
• 사용자 프로필, 성격 특성, 행동 기록, 탐지된 사회적 환경을 초그래프 구조와 함께 통합한 종합적이고 고품질의 데이터셋을 구축하는 것.
• LLM의 유사성 추론 능력과 HGNN의 구조적 모델링 능력을 조합하여 성격 분석 성능을 향상시키는 것.
• 환경 기반 모델링을 통해 디지털 환경에서 인간 행동에 대한 더 깊고 세밀한 이해를 가능하게 하는 것.

제안 방법

• 외부 지식를 활용하여 산만하고 저품질의 사용자 데이터를 일관된 성격 프로필로 통합하기 위해 정교하게 설계된 프롬프트를 활용한 대규모 언어 모델(LLMs)을 활용한다.
• 사용자를 노드로, 사회적 환경(예: 커뮤니티, 콘텐츠 유형 등)을 초모서리로 하는 초그래프를 구축하여 다수의 사용자 및 다수의 환경 간의 상호작용을 모델링할 수 있도록 한다.
• 사용자와 그들의 사회적 환경 간의 복잡한 비쌍방향 관계를 포착하기 위해 사용자 표현을 학습하는 초그래프 신경망(HGNN)을 설계한다.
• 사용자 프로필, 성격 특성(MBTI 등), 행동 로그, 탐지된 사회적 환경를 포함한 신규로 수집된 데이터셋을 기반으로 HGNN을 훈련한다.
• LLM이 생성한 프로필을 입력 특성으로 사용하여 HGNN의 성능을 향상시켜, 불완전하고 산만한 데이터에서 성격 특성을 더 잘 추론할 수 있도록 한다.
• 훈련 데이터 비율을 다양하게 설정하여 표준 평가 지표(정확도, AUC)를 사용해 프레임워크의 강건성과 확장성을 평가한다.

실험 결과

연구 질문

• RQ1 온라인 소셜 네트워크에서 산만하고 저품질인 사용자 데이터는 어떻게 효과적으로 일관된 성격 프로필로 통합될 수 있는가?
• RQ2 초그래프 신경망은 사용자와 그들의 사회적 환경 간의 복잡한 다자간 상호작용을 어느 정도 잘 모델링할 수 있는가?
• RQ3 LLM과 HGNN의 통합은 개별 수준의 기준 모델에 비해 성격 특성 예측 성능을 크게 향상시킬 수 있는가?
• RQ4 특히 훈련 데이터가 제한된 상황에서 제안된 프레임워크는 어떻게 성능을 발휘하는가?
• RQ5 사회적 맥락, 특히 사회적 환경을 통합함으로써 성격 분석 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 LLM-HGNN 프레임워크는 성격 특성 예측에서 뚜렷한 성능 향상을 달성하였으며, 전체 데이터셋으로 훈련했을 때 최적의 성능을 기록하였다.
• 훈련 데이터가 50%로 제한된 상황에서도 모델은 강력한 성능 유지를 보였으며, 데이터 부족에 대한 강건성을 입증하였다. 반면 기준 모델은 유사한 조건에서 성능 저하가 심각하게 발생하였다.
• 훈련 데이터 양과 모델 성능 간에 양의 상관관계가 존재함을 확인하여, 더 큰, 더 풍부한 데이터셋이 학습과 일반화 능력을 향상시킨다는 점을 시사한다.
• LLM이 생성한 프로필의 통합은 입력 표현의 품질을 크게 향상시켜, 불완전한 데이터에서 세밀한 성격 특성을 더 잘 포착할 수 있도록 하였다.
• 초그래프 구조는 복잡한 비쌍방향 사회적 상호작용을 효과적으로 모델링하였으며, 쌍방향 관계에 국한된 기존 GNN보다 우수한 성능을 보였다.
• 초그래프로 구조화된 사회적 환경과 성격 레이블을 포함한 새로 공개된 데이터셋은 유사한 종류의 데이터셋 중 최초로, 향후 사회학적 및 성격 분석 연구에 소중한 자원이 될 것이다.