[논문 리뷰] Detecting Events and Patterns in Large-Scale User Generated Textual Streams with Statistical Learning Methods

Vasileios Lampos|arXiv (Cornell University)|2012. 08. 13.

Complex Network Analysis Techniques참고 문헌 154인용 수 11

한 줄 요약

이 박사학위논문은 주로 티커트를 통해 대규모 사용자 생성 텍스트 스트림에서 전염병, 강수량, 사회적 분위기 변화와 같은 실세계 사건과 패턴을 탐지하기 위한 통계적 기계학습 방법을 제안한다. 선형, 비선형 및 하이브리드 추론 기법을 사용하여 텍스트 특징을 추출하고 모델링함으로써, 이 방법은 사건의 동적 변화와 기분 경향을 예측하는 데 뛰어난 성능을 보이며, 사회적 건강 및 사회과학 모니터링을 위한 소셜미디어의 유용성을 입증한다.

ABSTRACT

A vast amount of textual web streams is influenced by events or phenomena emerging in the real world. The social web forms an excellent modern paradigm, where unstructured user generated content is published on a regular basis and in most occasions is freely distributed. The present Ph.D. Thesis deals with the problem of inferring information - or patterns in general - about events emerging in real life based on the contents of this textual stream. We show that it is possible to extract valuable information about social phenomena, such as an epidemic or even rainfall rates, by automatic analysis of the content published in Social Media, and in particular Twitter, using Statistical Machine Learning methods. An important intermediate task regards the formation and identification of features which characterise a target event; we select and use those textual features in several linear, non-linear and hybrid inference approaches achieving a significantly good performance in terms of the applied loss function. By examining further this rich data set, we also propose methods for extracting various types of mood signals revealing how affective norms - at least within the social web's population - evolve during the day and how significant events emerging in the real world are influencing them. Lastly, we present some preliminary findings showing several spatiotemporal characteristics of this textual information as well as the potential of using it to tackle tasks such as the prediction of voting intentions.

연구 동기 및 목표

• 대규모 비정형 사용자 생성 텍스트 스트림에서 실세계 사건을 탐지하기 위한 통계적 학습 방법을 개발하기 위해.
• 전염병 확산이나 기상 현상과 같은 목표 사건을 특징짓는 의미 있는 텍스트 특징을 식별하고 추출하기 위해.
• 소셜미디어의 시간적 및 정서적 패턴을 모델링하여 실세계 사건에 대한 대중의 정서 변화를 이해하기 위해.
• 소셜미디어 데이터가 투표 의향이나 공중보건 추세와 같은 사회현상을 예측하는 데 잠재력을 갖추고 있는지 평가하기 위해.
• 엄격한 통계적 추론을 통해 티커트 데이터가 실세계 역학의 대체자로 사용될 수 있는 가능성을 입증하기 위해.

제안 방법

• 텍스트 특징에서 사건 관련 신호를 추론하기 위해 선형 및 정규화된 회귀 모델(예: LASSO)을 사용하였다.
• 텍스트 콘텐츠와 실세계 사건 간의 복잡한 관계를 포착하기 위해 비선형 및 하이브리드 추론 모델을 적용하였다.
• 품사 태깅, 정서 어휘집(예: LIWC), 어간 추출 분석 등의 자연어 처리 기법을 사용하여 텍스트 특징을 추출하였다.
• 시간적 시리즈 모델링을 활용하여 다양한 지리적 및 시간적 척도에서 정서 및 사건 탐지에 대한 일일 및 시공간 패턴을 분석하였다.
• 특징 표현을 향상시키고 텍스트 스트림의 노이즈를 줄이기 위해 정지어 제거 및 어간 추출(예: Porter stemmer)을 통합하였다.
• 기존의 정서 및 정서 어휘집(예: Pennebaker의 LIWC)을 활용하여 기분 신호를 추출하고 시간에 따라 변화하는 정서 기준을 추적하였다.

실험 결과

연구 질문

• RQ1 통계적 학습 모델은 티커트 텍스트 스트림에서 전염병 확산이나 강수량과 같은 실세계 사건을 높은 정확도로 탐지할 수 있는가?
• RQ2 소셜미디어 콘텐츠에서 유도된 텍스트 특징은 실제 공중보건 또는 환경 현상과 어떻게 상관관계가 있는가?
• RQ3 소셜미디어의 정서 및 정서 신호가 실세계 사건과 대중 정서 변화를 어느 정도 반영할 수 있는가?
• RQ4 사용자 생성 콘텐츠의 시공간적 특성은 사건 탐지 및 예측에 어떻게 활용될 수 있는가?
• RQ5 소셜미디어 데이터는 투표 의향이나 위기 상황 중 공중의 우려 수준과 같은 사회적 행동을 예측하는 데 사용될 수 있는가?

주요 결과

• 특히 정규화된 회귀 및 하이브리드 접근 방식을 포함한 통계적 학습 모델은 티커트 데이터에서 인플루엔자 확산과 같은 실세계 사건 탐지에 뛰어난 성능을 보였다.
• 본 연구는 소셜미디어에서 유도된 텍스트 특징가 강수량과 전염병 유병률을 유의미하게 지표 데이터와 상관관계가 있는 방식으로 예측할 수 있음을 입증하였다.
• 티커트에서 추출한 기분 신호는 신경질성 및 우울 수준과 관련된 일일 패턴을 보이며, 온라인 인구 집단 내에서 감지 가능한 정서 리듬이 있음을 시사하였다.
• 중대한 실세계 사건—예를 들어 H1N1 패닉이나 지진—은 소셜미디어에서 정서 및 언어 사용에 측정 가능하고 탐지 가능한 변화를 유도하였다.
• 소셜미디어 콘텐츠의 시간적 역학은 일관된 시공간 패턴을 보이며, 공식 보고 이전에 발생하는 사건의 조기 탐지가 가능함을 보여주었다.
• 어휘적, 정서적, 시간적 특징 유형을 통합함으로써 모델 성능이 향상되었으며, 특히 비선형적 사건 탐지 과제에서 두드러진 성과를 보였다.