[논문 리뷰] Forecasting of Events by Tweet Data Mining

Bohdan M. Pavlyshenko|arXiv (Cornell University)|2013. 10. 13.

Advanced Text Analysis Techniques참고 문헌 14인용 수 7

한 줄 요약

이 논문은 마이크로블로그 콘텐츠에서 유도된 빈번한 집합과 연관 규칙을 분석하여 테터 데이터를 활용해 실제 세계의 사건을 예측하는 방법을 제안한다. 연구는 2012년 런던 올림픽 테니스 결승 및 2013년 유로비전 시ング 콘테스트와 같은 주요 행사 이전에 특정 빈번한 집합의 지지도가 정점에 도달하는 경향을 확인하였으며, 이는 예측 가능한 지표로 기능한다. 또한 연관 규칙의 신뢰도 역학은 행사 이전의 시간 창 안에서 사회적 기대를 신호로 제공한다.

ABSTRACT

This paper describes the analysis of quantitative characteristics of frequent sets and association rules in the posts of Twitter microblogs related to different event discussions. For the analysis, we used a theory of frequent sets, association rules and a theory of formal concept analysis. We revealed the frequent sets and association rules which characterize the semantic relations between the concepts of analyzed subjects. The support of some frequent sets reaches its global maximum before the expected event but with some time delay. Such frequent sets may be considered as predictive markers that characterize the significance of expected events for blogosphere users. We showed that the time dynamics of confidence in some revealed association rules can also have predictive characteristics. Exceeding a certain threshold may be a signal for corresponding reaction in the society within the time interval between the maximum and the probable coming of an event. In this paper, we considered two types of events: the Olympic tennis tournament final in London, 2012 and the prediction of Eurovision 2013 winner.

연구 동기 및 목표

• 주요 대중 행사 발생 이전의 테터 마이크로블로그 데이터에서 예측 패턴을 식별하기 위해.
• 공식 개념 분석 및 연관 규칙 마이닝을 활용해 행사 관련 개념 간의 의미적 관계를 분석하기 위해.
• 빈번한 집합과 규칙의 신뢰도 시간 동적 변화가 행사 발생 이전에 사회적 기대를 신호로 줄 수 있는지 판단하기 위해.
• 2012년 올림픽 결승 및 2013년 유로비전 시ング 콘테스트와 같은 실제 세계의 사건에 대해 예측 능력을 검증하기 위해.
• 소셜 미디어 데이터가 향후 행사에 대한 사회적 주의의 변화를 조기에 경고할 수 있는 잠재력을 탐색하기 위해.

제안 방법

• 목표 행사와 관련된 트윗 내 반복적인 단어 조합을 추출하기 위해 빈번한 아이템세트 마이닝을 적용하였다.
• 지지도, 신뢰도, 리프트로 측정된 연관 규칙 마이닝을 통해 행사 관련 개념 간의 의미적 관계를 발견하였다.
• 추출된 데이터 내 개념적 관계를 체계화하고 해석하기 위해 공식 개념 분석을 활용하였다.
• 이벤트 시간축에 걸쳐 빈번한 집합과 연관 규칙의 지지도 및 신뢰도 값의 시간적 변화를 추적하였다.
• 이벤트 일자와 상대적으로 지지도 및 신뢰도 지표의 피크를 식별하여 예측 신호를 탐지하였다.
• 두 개의 서로 다른 사건에 대해 이러한 지표의 시간 패턴을 비교하여 예측 신호의 일반화 가능성을 평가하였다.

실험 결과

연구 질문

• RQ1 테터 데이터의 빈번한 집합이 주요 대중 행사 발생 이전에 지지도가 피크에 도달하는가? 이는 조기 사회적 주의를 나타내는가?
• RQ2 높은 신뢰도를 가진 연관 규칙가 행사 이전에 동적으로 증가하는가? 이는 사회적 기대 증가를 신호로 제공하는가?
• RQ3 채굴된 패턴에서 지지도 또는 신뢰도의 피크 시점이 향후 행사 발생의 신뢰할 수 있는 조기 지표로 사용될 수 있는가?
• RQ4 스포츠 대회와 음악 경연 대회와 같은 다양한 이벤트 유형 간에 빈번한 집합과 연관 규칙의 패턴은 어떻게 다를까?
• RQ5 소셜 미디어 콘텐츠의 동적 변화가 측정 가능한 리드 타임을 확보하고 실제 세계의 사건을 얼마나 잘 예측할 수 있는가?

주요 결과

• 2012년 런던 올림픽 테니스 결승 이틀 전 약 1–2일 전에 특정 빈번한 집합의 지지도가 전역 최대치에 도달하여 온라인 주의 조기 표시를 나타냈다.
• 2013년 유로비전 예측의 경우, 특정 연관 규칙의 신뢰도가 행사 이전 며칠 동안 상승하여 결승 직전에 피크에 도달하였다.
• 두 사례 연구 모두에서 빈번한 집합의 지지도 피크와 실제 행사 사이의 시간 지연이 일관되었으며, 이는 예측 가능한 행동 패턴을 시사한다.
• 높은 신뢰도 값을 가진 연관 규칙가 행사 직전에 사전 정의된 임계값을 초과하여 사회적 반응의 잠재적 신호로 기능하였다.
• 높은 지지도를 가진 빈번한 집합과 상승하는 규칙의 신뢰도가 결합되어 이중 예측 신호를 제공하였으며, 이는 예측 신뢰도를 향상시켰다.
• 이 방법은 주요 행사 발생 48시간 전까지도 소셜 미디어 데이터에서 검출 가능한 예측 패턴을 보였으며, 이는 조기 행사 예측에의 활용 가능성을 뒷받침한다.