[논문 리뷰] Deep Agent: Studying the Dynamics of Information Spread and Evolution in Social Networks

Iván Garibay, Toktam A. Oghaz외 24명|arXiv (Cornell University)|2020. 03. 25.

Opinion Dynamics and Social Influence참고 문헌 18인용 수 10

한 줄 요약

이 논문은 인간의 정서적, 인지적, 사회적 역동성을 모델링하여 소셜 미디어 플랫폼에서의 정보 확산 및 진화를 시뮬레이션하는 이론 기반 및 데이터 기반의 에이전트 기반 시뮬레이션 시스템인 딥 에이전트 프레임워크(Deep Agent Framework, DAF)를 소개한다. 도메인 전문 지식, 기계 학습, 고성능 컴퓨팅을 통합함으로써 DAF는 GitHub, Reddit, Twitter에서 암호화폐, 사이버 위협, 소프트웨어 취약성 역동성의 모델링에서 뛰어난 정확도를 달성하였으며, 모델 혼합 및 정제 전략을 통해 성능 향상을 이룩하였다.

ABSTRACT

This paper explains the design of a social network analysis framework, developed under DARPA's SocialSim program, with novel architecture that models human emotional, cognitive and social factors. Our framework is both theory and data-driven, and utilizes domain expertise. Our simulation effort helps in understanding how information flows and evolves in social media platforms. We focused on modeling three information domains: cryptocurrencies, cyber threats, and software vulnerabilities for the three interrelated social environments: GitHub, Reddit, and Twitter. We participated in the SocialSim DARPA Challenge in December 2018, in which our models were subjected to extensive performance evaluation for accuracy, generalizability, explainability, and experimental power. This paper reports the main concepts and models, utilized in our social media modeling effort in developing a multi-resolution simulation at the user, community, population, and content levels.

연구 동기 및 목표

• 온라인 소셜 네트워크에서 정보 확산 및 진화의 고해상도, 다중 해상도 시뮬레이션을 개발하기 위해.
• 정서, 제한된 합리성, 사회적 연결성 등의 인간 행동에 대한 심층 신경인지 모델을 에이전트 기반 시뮬레이션에 통합하기 위해.
• 암호화폐, 사이버 위협, 소프트웨어 취약성의 세 가지 실제 도메인에서 사용자, 커뮤니티, 인구집단, 콘텐츠 수준에서 모델 성능을 평가하기 위해.
• 모듈러하고 데이터 기반이며 이론에 기반한 에이전트 설계를 통해 모델 정확도, 일반화 능력, 설명 가능성, 실험적 능력을 향상시키기 위해.
• 실제 데이터를 사용하여 DARPA SocialSim 챌린지에서 프레임워크의 효과성을 입증하기 위해.

제안 방법

• 딥 에이전트 프레임워크(Deep Agent Framework, DAF)는 정서(정합리적 행동), 제한된 합리성, 사회적 연결성이라는 세 가지 핵심 차원을 가진 '딥 에이전트'로 사용자를 모델링한다.
• 이 프레임워크는 다양한 사회적 역동성을 위한 하위 모델의 체계적 조립, 테스트, 검증을 가능하게 하는 모듈러 아키텍처를 채택하고 있다.
• 다층성 기반 모델(Multiplexity-Based Models, MBM)과 다에이전트 인지 모델(Multi-Agent Cognitive Models, MACM)은 그래프 이론과 행동 규칙을 사용하여 네트워크 진화와 사용자 수준의 상호작용을 시뮬레이션한다.
• 모델 발견 및 개선은 기계 학습과 HPC 클라우드 컴퓨팅을 활용하여 에이전트 행동 규칙 최적화 및 시뮬레이션 정밀도 향상에 기여한다.
• 수동으로 설계된 행동 이론과 데이터 기반 모델을 융합하는 하이브리드 전략을 적용하며, 표준 역사 데이터(Standard Historical Data, SHD)를 활용한 모델 혼합 전략이 성능 향상에 기여한다.
• 정확도, 일반화 능력, 설명 가능성, 실험적 능력의 네 가지 차원에서 57개의 지표를 사용하여 성능을 평가하며, 비교를 위해 정규화된 오차 비율을 사용한다.

실험 결과

연구 질문

• RQ1 에이전트 기반 시뮬레이션에서 심층적인 인지적 및 정서적 요소를 어떻게 모델링할 수 있을까? 이를 통해 정보 확산의 현실성은 어떻게 향상될 수 있는가?
• RQ2 모듈러하고 이론에 기반한 에이전트 모델은 다양한 소셜 미디어 플랫폼과 도메인 간에 얼마나 일반화될 수 있는가?
• RQ3 SHD를 사용한 모델 혼합 전략은 사용자, 커뮤니티, 인구집단, 콘텐츠 수준의 상호작용 시뮬레이션에서 성능을 어떻게 향상시키는가?
• RQ4 영향력 있는 사용자를 정제하는 것은 모델 정확도와 설명 가능성에 어떤 영향을 미치는가?
• RQ5 설명 가능하고 이론에 기반한 모델은 복잡한 사회적 역동성을 포괄하는 데 있어 순수 통계적 또는 데이터 피팅 모델보다 뛰어나다고 할 수 있는가?

주요 결과

• 딥 에이전트 프레임워크는 모든 수준(사용자, 커뮤니티, 인구집단, 콘텐츠)에서 기준 모델 대비 낮은 정규화 오차 비율을 달성하였으며, 높은 성능을 나타내는 0.2 이하 값은 볼드체로 표시되었다.
• 표준 역사 데이터(Standard Historical Data, SHD)를 활용한 모델 혼합 전략은 사용자 및 커뮤니티 수준의 성능 향상에 뚜렷한 기여를 하였으며, 노드 수준 상호작용 시뮬레이션의 정확도 향상을 시사한다.
• 영향력 있는 사용자 정제 전략은 MBM 모델 성능을 향상시켰지만, MACM 성능은 악화시켰으며, 이는 이론 기반 모델이 본질적으로 영향력 있는 역동성을 반영하고 있음을 시사한다.
• SHD 혼합 전략은 특히 차수 분포와 노드 수준 특성에 대해 인구집단 수준의 모델링을 향상시켰으며, 거시 수준 역동성에 대한 강건성을 보였다.
• 가장 정확한 모델들은 항상 높은 설명 가능성도 보였으며, 이는 투명하고 이론에 기반한 모델이 더 나은 예측 성능을 낼 수 있다는 가설을 지지한다.
• 이 프레임워크는 강력한 일반화 능력과 실험적 능력을 보였으며, GitHub, Reddit, Twitter의 실제 데이터를 기반으로 57개 지표에 걸쳐 종합적인 평가를 통과하며 DARPA SocialSim 챌린지에서의 효과성을 입증하였다.