[논문 리뷰] Big Data, Socio-Psychological Theory, Algorithmic Text Analysis and Predicting the Michigan Consumer Sentiment Index

Rickard Nyman, Paul Ormerod|arXiv (Cornell University)|2014. 05. 22.

Complex Systems and Time Series Analysis참고 문헌 5인용 수 3

한 줄 요약

이 논문은 사회심리학 이론에서 유래한 신념 서사 이론을 기반으로 한 알고리즘적 텍스트 분석을 통해 브로커 보고서의 텍스트를 분석하여 미시간 소비자 신뢰지수를 예측하는 새로운 접근법을 제안한다. 이는 15개의 한 달 예측 중 12번의 방향성 예측에 성공하여 월스트리트저널의 공시 예측(15번 중 7번 정확도)을 뛰어넘는 유의미한 성과를 달성한다.

ABSTRACT

We describe an exercise of using Big Data to predict the Michigan Consumer Sentiment Index, a widely used indicator of the state of confidence in the US economy. We carry out the exercise from a pure ex ante perspective. We use the methodology of algorithmic text analysis of an archive of brokers' reports over the period June 2010 through June 2013. The search is directed by the social-psychological theory of agent behaviour, namely conviction narrative theory. We compare one month ahead forecasts generated this way over a 15 month period with the forecasts reported for the consensus predictions of Wall Street economists. The former give much more accurate predictions, getting the direction of change correct on 12 of the 15 occasions compared to only 7 for the consensus predictions. We show that the approach retains significant predictive power even over a four month ahead horizon.

연구 동기 및 목표

• 빅데이터 자료를 활용한 미시간 소비자 신뢰지수에 대한 데이터 기반 예측 모델 개발.
• 특히 신념 서사 이론을 포함한 사회심리학 이론을 알고리즘적 텍스트 분석에 통합하여 경제 예측에 응용.
• 이러한 접근법의 예측 정확도를 기존의 금융 공시 예측과 비교 평가.
• 모델의 안정성과 장기 예측 능력을 검토하기 위해 4개월 후 예측까지 포함한 장기 예측 수준에서의 성능 평가.
• 기관 보고서의 텍스트 기반 감성 지표가 전통적인 설문 기반 측정 방식을 초월해 선도적 경제 지표로 기능할 수 있음을 입증.

제안 방법

• 2010년 6월부터 2013년 6월까지의 브로커 보고서 아카이브를 주요 텍스트 데이터 소스로 활용.
• 신념 서사 이론에 기반한 알고리즘적 텍스트 분석을 통해 감성 및 서사적 내용을 추출.
• 실제 데이터 발표 이전에 예측을 수행하는 순수 사전 예측 프레임워크를 적용.
• 한 달 후 예측 기준으로 모델 예측 결과를 월스트리트저널 경제학자들의 공시 예측과 비교.
• 단기 예측(1개월)과 장기 예측(4개월) 수준에서의 예측 성능을 검증하여 장기 신뢰성 평가.
• 통계적 비교를 통해 실제 지수 변화 방향성 예측의 정확도 평가.

실험 결과

연구 질문

• RQ1 신념 서사 이론을 기반으로 한 브로커 보고서의 알고리즘적 텍스트 분석은 미시간 소비자 신뢰지수 예측 성능을 향상시킬 수 있는가?
• RQ2 이러한 텍스트 기반 모델의 성능은 월스트리트저널 경제학자들의 공시 예측과 비교해 방향성 예측에서 얼마나 뛰어난가?
• RQ3 4개월 후 예측 수준으로 확장했을 때 모델의 예측 능력이 여전히 유의미한가?
• RQ4 사회심리학 이론의 통합은 감성 기반 경제 예측의 해석 가능성과 정확도를 어느 정도 향상시키는가?
• RQ5 기관 보고서의 텍스트 데이터가 전통적인 설문 기반 측정 방식을 초월해 소비자 신뢰도의 선도적 지표로 기능할 수 있는가?

주요 결과

• 모델은 15개의 한 달 후 예측 중 12개에서 지수의 변화 방향을 정확히 예측했다.
• 반면 월스트리트저널의 공시 예측은 15번의 기회 중 단 7번만 방향성을 정확히 맞췄다.
• 모델의 예측 정확도는 4개월 후 예측 수준에서도 통계적으로 유의미하게 유지되었다.
• 신념 서사 이론의 통합은 시장 감성의 의미 있는 변화를 포착하는 데 모델의 능력을 향상시켰다.
• 결과적으로 기관 보고서의 텍스트 기반 감성 분석이 전통적인 공시 예측을 능가하여 소비자 신뢰도 예측에 유의미한 성과를 낳을 수 있음을 입증했다.
• 본 연구는 빅데이터와 사회심리학 이론을 효과적으로 융합함으로써 경제 예측 정확도를 향상시킬 수 있음을 확인했다.