[논문 리뷰] Visual and Predictive Analytics on Singapore News: Experiments on GDELT, Wikipedia, and ^STI

Clifton Phua, Yuzhang Feng외 2명|arXiv (Cornell University)|2014. 04. 08.

Computational and Text Analysis Methods참고 문헌 6인용 수 4

한 줄 요약

이 논문은 GDELT의 이벤트 수준 뉴스 데이터를 예측 분석을 위한 시계열 데이터셋으로 변환하는 새로운 특징 공학 방법을 제안한다. 싱가포르의 스트레이츠 텔레그래프 인덱스(^STI) 예측에 적용하여, 시각화 분석과 의사결정나무를 활용해 2013년 동남아시아 smog와 리틀 인디아 봉제 사건과 같은 주요 사건의 시장 영향을 높은 시간 해상도로 탐지하고 예측함을 입증한다. 실제 사건과 강한 일치를 보인다.

ABSTRACT

The open-source Global Database of Events, Language, and Tone (GDELT) is the most comprehensive and updated Big Data source of important terms extracted from international news articles . We focus only on GDELT's Singapore events to better understand the data quality of its news articles, accuracy of its term extraction, and potential for prediction. To test news completeness and validity, we visually compared GDELT (Singapore news articles' terms from 1979 to 2013) to Wikipedia's timeline of Singaporean history. To test term extraction accuracy, we visually compared GDELT (CAMEO codes and TABARI system of extraction from Singapore news articles' text from April to December 2013) to SAS Text Miner's term and topic extraction. To perform predictive analytics, we propose a novel feature engineering method to transform row-level GDELT from articles to a user-specified temporal resolution. For example, we apply a decision tree using daily counts of feature values from GDELT to predict Singapore stock market's Straits Times Index (^STI). Of practical interest from the above results is SAS Visual Analytics' ability to highlight the various impacts of June 2013 Southeast Asian haze and December 2013 Little India riot on Singapore. Although Singapore is unique as a sovereign city-state, a leading financial centre, has strong international influence, and consists of a highly multi-cultural population, the visual and predictive analytics reported here are highly applicable to another country's GDELT data.

연구 동기 및 목표

• 시각적 및 비교 분석을 통해 GDELT의 싱가포르 뉴스 커버리지의 데이터 품질과 완전성을 평가하는 것.
• GDELT의 용어 및 이벤트 추출 정확도(CAMEO 및 TABARI)를 인간 애너테이션 기반 자료와 SAS Text Miner를 비교하여 평가하는 것.
• 사용자 정의 시간 해상도에 따라 GDELT 이벤트 데이터를 집계하는 새로운 특징 공학 방법을 개발하는 것.
• 의사결정나무를 활용해 GDELT 이벤트 특징을 기반으로 1일 지연을 고려해 스트레이츠 텔레그래프 인덱스(^STI)를 예측하는 예측 분석을 적용하는 것.
• 시각화 분석 도구를 활용해 GDELT가 실제 경제적·사회적 영향을 탐지하고 예측하는 데 실용적인 활용 가능성을 입증하는 것.

제안 방법

• 사용자가 지정한 시간 해상도(예: 매일)에 따라 행 수준의 GDELT 이벤트를 시간 집계 특징으로 변환하는 특징 공학 알고리즘(알고리즘 1)을 제안한다.
• 명목형 변수의 경우, 각 고유값에 대해 이진 지표 변수를 생성하고, 결측치에 대한 별도의 변수를 생성하여 시간 단위당 발생 횟수를 세는 방식을 사용한다.
• 수치형 변수의 경우, 등간격 또는 등빈도 분할(binning)을 적용하고, 각 밴에 대해 개별 카운트 변수와 결측치에 대한 변수를 생성한다.
• 1일 지연을 고려해 엔지니어링된 특징을 매일의 조정 종가(^STI) 가격과 결합하여 지도 학습 데이터셋을 생성한다.
• 의사결정나무 알고리즘을 적용해 GDELT 이벤트 특징을 기반으로 다음 날의 ^STI 가격을 예측하며, 시간 집계 및 특징 공학을 통한 처리를 수행한다.
• SAS Visual Analytics를 활용해 상호작용 가능한 시각적 탐색을 수행하고, SAS Text Miner를 사용해 GDELT의 CAMEO 및 TABARI 출력 결과와의 정확도를 검증한다.

실험 결과

연구 질문

• RQ1 GDELT의 싱가포르 뉴스 데이터는 얼마나 효과적으로 주요 역사적 사건을 이해하고 시각화하는 데 활용될 수 있는가?
• RQ2 Wikipedia 및 수동 텍스트 분석과 같은 기준 자료와 비교했을 때, GDELT의 용어 및 이벤트 추출(CAMEO 및 TABARI) 정확도는 어느 정도인가?
• RQ3 GDELT 데이터는 정치적 요인 외의 결과, 예를 들어 주가 움직임과 같은 예측 모델링에 효과적으로 변환될 수 있는가?
• RQ4 특정 사회정치적 사건 기간 동안 스트레이츠 텔레그래프 인덱스(^STI) 변화를 가장 잘 예측하는 GDELT 특징은 무엇인가?
• RQ5 시각화 분석 도구는 2013년 동남아시아 스모그 및 리틀 인디아 봉제 사건과 같은 사건의 경제적·사회적 영향을 효과적으로 드러낼 수 있는가?

주요 결과

• GDELT의 싱가포르 뉴스 커버리지는 포괄적이지만, 모든 분석 목적으로는 완전히 타당하지 않으며, 일부 기사가 핵심 사건과 관련이 없는 경우가 있다.
• 위키피디아 타임라인과의 시각적 비교를 통해 GDELT가 2013년 스모그와 리틀 인디아 봉제 사건과 같은 주요 역사적 사건을 강력한 시간적 일치로 탐지함을 확인했다.
• GDELT의 CAMEO 및 TABARI 용어 추출은 합리적인 정확도를 보였지만, 사전에 코드화된 이벤트를 초월한 통찰을 얻기 위해 추가적인 NLP 기법이 필요할 수 있다.
• 제안된 특징 공학 알고리즘이 GDELT의 이벤트 수준 데이터를 예측 모델링에 적합한 일일 시계열 형식으로 성공적으로 변환했다.
• 스모그 기간(2013년 6월 13일~27일) 동안 예측력이 높은 상위 3개 특징은 ActionGeo_Fullname = Toa Payoh, Singapore 및 Geylang이었으며, 지역 뉴스 영향을 반영했다.
• 리틀 인디아 봉제 기간(2013년 12월 8일~22일) 동안 예측력이 높은 상위 3개 특징은 Actor1CountryCode = Pakistan, mainURL = zeenews.india.com, ActionGeo_CountryCode = Singapore였으며, 매체 중심의 커버리지 패턴을 반영했다.