[논문 리뷰] Social-LLM: Modeling User Behavior at Scale using Language Models and Social Network Data

Julie Jiang, Emilio Ferrara|arXiv (Cornell University)|2023. 12. 31.

Complex Network Analysis Techniques인용 수 4

한 줄 요약

Social-LLM는 대규모 언어 모델(Large Language Model, LLM)에서 유도한 사용자 콘텐츠 특징과 일차적 소셜 네트워크 상호작용(예: 재트윗, 언급)을 결합하여 확장 가능하고 유도적인 사용자 표현 모델을 제안한다. 이는 다양한 계산 사회과학 작업에서 효율적인 사용자 검출을 가능하게 한다. 사회적 유사성 원리와 직접적인 간선만을 모델링함으로써, 재훈련 없이도 외부 샘플 사용자에 적용 가능한 인도적 추론을 지원하면서 7개의 실세계 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The proliferation of social network data has unlocked unprecedented opportunities for extensive, data-driven exploration of human behavior. The structural intricacies of social networks offer insights into various computational social science issues, particularly concerning social influence and information diffusion. However, modeling large-scale social network data comes with computational challenges. Though large language models make it easier than ever to model textual content, any advanced network representation methods struggle with scalability and efficient deployment to out-of-sample users. In response, we introduce a novel approach tailored for modeling social network data in user detection tasks. This innovative method integrates localized social network interactions with the capabilities of large language models. Operating under the premise of social network homophily, which posits that socially connected users share similarities, our approach is designed to address these challenges. We conduct a thorough evaluation of our method across seven real-world social network datasets, spanning a diverse range of topics and detection tasks, showcasing its applicability to advance research in computational social science.

연구 동기 및 목표

• 대규모 소셜 네트워크 데이터에서 그래프 표현 학습의 확장성 한계를 해결하기 위해.
• LLM과 소셜 네트워크 구조를 통합하여 외부 샘플 사용자에 적용 가능한 유도적 사용자 검출을 가능하게 하기 위해.
• 다양한 소셜 상호작용 유형(예: 재트윗, 언급)과 간선 성질(방향성, 가중치)이 사용자 표현에 미치는 영향을 평가하기 위해.
• 학습된 임베딩이 소셜 네트워크 분석에서 시각화 및 해석 가능성에 기여하는지 확인하기 위해.
• 정치적 극단화, 혐오 발언, 계정 정지 등 다양한 주제를 포함한 다양한 사용자 검출 작업에 대해 강력하고 일반적인 방법을 확립하기 위해.

제안 방법

• Social-LLM은 LLM으로 임bed된 사용자 프로필 설명과 일차적 소셜 네트워크 간선(예: 재트윗, 언급)을 결합하여 사용자 표현을 구성한다.
• 연결된 사용자 간 언어적·행동적 유사성이 존재한다는 사회적 유사성 원리를 가정함으로써 효과적인 표현 학습을 가능하게 한다.
• 단순하지만 효과적인 그래프 근사 기법을 사용하여 직접 간선만을 신호로 간주함으로써, 복잡한 그래프 신경망 학습을 피하고 인도적 추론을 가능하게 한다.
• 성능 향상이 이루어지는 경우, 간선 유형을 무시무시하게 통합(예: 재트윗 + 언급을 하나의 간선 유형으로 통합)하며, 간선 방향성이 성능 향상에 핵심적임을 입증한다.
• 상호작용 강도를 반영하기 위해 간선 가중치를 선택적으로 추가하며, 사용자 트윗 임베딩이 가용할 경우 이를 통합하여 표현 품질을 향상시킨다.
• 최종 사용자 임베딩는 후속 분류 작업에 사용되며, t-SNE를 통해 클러스터링 가능성과 해석 가능성을 평가하기 위해 시각화된다.

실험 결과

연구 질문

• RQ1 LLM과 일차적 소셜 네트워크 간선을 활용하는 단순하고 확장 가능한 방법이 사용자 검출 작업에서 최신 기술 수준의 모델을 능가할 수 있는가?
• RQ2 재트윗과 언급과 같은 다양한 소셜 상호작용 유형이 함께 또는 별도로 모델링될 경우 성능에 어떤 영향을 미치는가?
• RQ3 간선 방향성과 가중치가 사용자 표현 품질과 검출 정확도 향상에 어느 정도 기여하는가?
• RQ4 Social-LLM 임베딩는 정치적 극단화나 계정 정지 패턴과 같은 의미 있는 사회적 구조를 효과적으로 시각화할 수 있는가?
• RQ5 다양한 주제와 검출 작업을 포함한 다양한 데이터셋에서 모델의 견고성은 어느 정도인가?

주요 결과

• Social-LLM은 7개의 실세계 소셜 미디어 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 7개 중 6개에서 콘텐츠 전용 및 네트워크 전용 기준 모델을 능가하였다.
• 기준 모델 대비 통계적으로 유의미한 향상이 나타났으며, 가장 유리한 데이터셋에서 평균 Macro-F1 점수는 최대 4.1% 향상되었다.
• 재트윗과 언급을 하나의 간선 유형으로 통합하면 별도로 처리하는 것보다 성능이 뛰어나, 상호작용 유형 간의 차이가 검출 작업에 있어 덜 중요함을 시사한다.
• 간선 방향성을 통합하면 일관되게 성능 향상이 이루어져, 소셜 네트워크 내 정보 흐름의 중요성을 입증한다.
• 간선 가중치를 추가하면 일부 경우에 성능 향상이 이루어져, 상호작용 강도가 의미 있는 신호를 지닌다는 것을 시사한다.
• 사용자 트윗 임베딩이 가용할 경우 평균 4%의 Macro-F1 향상이 이루어져, 전체 사용자 콘텐츠를 통합하는 가치를 입증한다.