[논문 리뷰] Sentiment Analysis on Financial News Headlines using Training Dataset Augmentation

Vineet John, Olga Vechtomova|arXiv (Cornell University)|2017. 07. 29.

Advanced Text Analysis Techniques참고 문헌 6인용 수 7

한 줄 요약

이 논문은 -1(하락장)에서 1(상승장) 사이의 연속된 감성 점수를 예측하기 위해 단어의 unigram 및 bigram n-gram을 사용하고 간단한 선형 회귀를 적용한 재무 뉴스 헤드라인 감성 분석 시스템인 UW-FinSent을 제시한다. TF-IDF와 Doc2Vec와 같은 고급 방법을 탐색했음에도 불구하고 가장 단순한 접근 방식이 가장 뛰어난 성능을 보였으며, SemEval-2017 테스트 세트에서 코사인 유사도 점수 0.644를 기록하여 저자료 재무 NLP 환경에서 기본적인 벡터화 및 선형 회귀가 복잡한 모델보다 우수하다는 것을 입증한다.

ABSTRACT

This paper discusses the approach taken by the UWaterloo team to arrive at a solution for the Fine-Grained Sentiment Analysis problem posed by Task 5 of SemEval 2017. The paper describes the document vectorization and sentiment score prediction techniques used, as well as the design and implementation decisions taken while building the system for this task. The system uses text vectorization models, such as N-gram, TF-IDF and paragraph embeddings, coupled with regression model variants to predict the sentiment scores. Amongst the methods examined, unigrams and bigrams coupled with simple linear regression obtained the best baseline accuracy. The paper also explores data augmentation methods to supplement the training dataset. This system was designed for Subtask 2 (News Statements and Headlines).

연구 동기 및 목표

• 제한된 훈련 데이터를 활용하여 재무 뉴스 헤드라인에 대한 정교한 감성 분석을 위한 견고한 시스템을 개발하는 것.
• n-gram, TF-IDF, 그리고 문단 벡터와 같은 다양한 텍스트 벡터화 기법이 감성 점수 예측에 얼마나 효과적인지 평가하는 것.
• 외부 재무 및 도메인 외 감성 데이터셋을 활용한 데이터 증강 전략을 통해 모델의 일반화 능력을 향상시키는 것.
• 선형 회귀와 같은 단순한 모델이 XGBoost나 SVR와 같은 복잡한 모델보다 재무 감성 작업에서 더 나은 성능을 내는지 확인하는 것.
• SemEval-2017의 서브태스크 2를 위한 기준선 시스템을 수립하는 것. 이는 -1에서 1 사이의 연속된 감성 점수 예측에 집중한다.

제안 방법

• 특정 기관 이름을 일반화된 자리표시자로 대체하여 특성 공간의 복잡도를 줄이기 위해 텍스트 전처리를 수행했다.
• scikit-learn의 CountVectorizer를 사용하여 unigram과 bigram n-gram을 기반으로 한 벡터화를 구현하여 국소적인 단어 패턴을 포착했다.
• TF-IDF와 Gensim을 통한 Doc2Vec도 대체적인 텍스트 표현 방법으로 평가되었다.
• 세 가지의 회귀 모델을 훈련시켰다: 단순 선형 회귀, 서포트 벡터 회귀(SVR), XGBoost 선형 회귀.
• 모델 성능 평가에는 R²와 코사인 유사도 점수가 사용되었으며, 후자는 공식적인 SemEval 메트릭이었다.
• 데이터 증강을 위해 재무 어휘 은행과 대규모 IMDB 유사 데이터셋을 사용했지만, 성능 향상이 관찰되지 않았다.

실험 결과

연구 질문

• RQ1 단순한 선형 회귀와 함께 unigram 및 bigram n-gram을 사용할 경우, SVR나 XGBoost와 같은 더 복잡한 모델보다 재무 감성 분석에서 더 나은 성능을 내는가?
• RQ2 재무 어휘 은행이나 IMDB와 같은 외부 감성 데이터셋을 사용하여 제한된 재무 훈련 데이터를 효과적으로 증강할 수 있는가?
• RQ3 n-gram, TF-IDF, 그리고 문단 벡터와 같은 다양한 텍스트 벡터화 기법이 연속된 감성 점수 예측에 비해 어떻게 비교되는가?
• RQ4 재무 헤드라인 감성 예측에 있어 하이퍼파라미터 튜닝이 Doc2Vec 성능에 어떤 영향을 미치는가?
• RQ5 이 저자료 환경에서 왜 선형 회귀와 같은 단순한 모델이 딥러닝이나 앙상블 방법보다 더 뛰어난 성능을 내는가?

주요 결과

• unigram과 bigram n-gram을 조합한 단순 선형 회귀가 시험 데이터셋에서 가장 높은 R² 점수 0.38을 기록했다.
• 동일한 구성이 SemEval-2017 테스트 세트에서 가장 높은 코사인 유사도 점수 0.644를 기록했으며, 모든 다른 모델 조합보다 뛰어났다.
• TF-IDF와 SVR는 유사한 R² 점수(0.38)를 기록했지만 코사인 유사도가 낮아 0.63으로, 실제 점수와의 상관관계가 덜 일관된 것으로 나타났다.
• Doc2Vec 모델은 성능이 열악했으며, R² 점수는 -4.69, 코사인 유사도도 0.04로, 이 작업에 대해 일반화 능력이 떨어지는 것으로 나타났다.
• XGBoost 회귀 모델은 모든 메트릭에서 성능이 열악했으며, R²는 0.21, 코사인 유사도도 0.50에 머물렀다.
• 외부 재무 및 도메인 외 데이터셋을 활용한 데이터 증강은 모델 성능 향상에 실패했으며, 교차 검증 정확도 향상도 유의미하지 않았다.