[论文解读] Forecasting Cryptocurrency Returns from Sentiment Signals: An Analysis of BERT Classifiers and Weak Supervision

Duygu Ider, Stefan Lessmann|arXiv (Cornell University)|Apr 6, 2022

Stock Market Forecasting Methods被引用 4

一句话总结

本文提出了一种新颖的框架，通过使用弱监督训练的基于 BERT 的情感分类器来预测加密货币收益，克服了无标签文本数据的挑战。通过对领域特定的金融文本应用弱标注并微调 BERT 模型，该方法显著提高了预测准确性，证明了该方法在金融 NLP 应用中的泛化能力。

ABSTRACT

Anticipating price developments in financial markets is a topic of continued interest in forecasting. Funneled by advancements in deep learning and natural language processing (NLP) together with the availability of vast amounts of textual data in form of news articles, social media postings, etc., an increasing number of studies incorporate text-based predictors in forecasting models. We contribute to this literature by introducing weak learning, a recently proposed NLP approach to address the problem that text data is unlabeled. Without a dependent variable, it is not possible to finetune pretrained NLP models on a custom corpus. We confirm that finetuning using weak labels enhances the predictive value of text-based features and raises forecast accuracy in the context of predicting cryptocurrency returns. More fundamentally, the modeling paradigm we present, weak labeling domain-specific text and finetuning pretrained NLP models, is universally applicable in (financial) forecasting and unlocks new ways to leverage text data.

研究动机与目标

• 解决在加密货币预测的情感分析中缺乏标注金融文本数据的问题。
• 评估在缺乏真实标签的情况下，弱监督在训练基于 BERT 的分类器时的有效性。
• 利用从非结构化文本中提取的情感信号，提高加密货币收益预测的准确性。
• 证明弱标注与微调方法在其他金融预测任务中的泛化能力。

提出的方法

• 应用弱监督，利用启发式规则和现有的情感词典，为与加密货币相关的文本生成合成标签。
• 在弱标注的金融文本语料库上微调预训练的 BERT 模型，以学习领域特定的情感表征。
• 使用微调后的 BERT 分类器从新闻文章和社交媒体帖子中提取情感特征。
• 将提取的情感特征整合到统计预测模型中，用于预测加密货币价格收益。
• 使用标准指标（如 R 平方和方向准确率）在样本外测试数据上评估模型性能。
• 将弱监督模型的性能与强监督基线模型及基线情感模型进行比较。

实验结果

研究问题

• RQ1 当缺乏人工标注数据时，弱监督能否有效生成可靠的金融文本情感标签？
• RQ2 在弱标注的金融文本上微调 BERT 是否能提升情感特征对加密货币收益的预测能力？
• RQ3 与使用强监督训练的模型相比，弱监督模型在预测加密货币价格走势方面的表现如何？
• RQ4 该方法在加密货币之外的其他金融预测任务中，其泛化能力有多大？

主要发现

• 弱监督 BERT 模型在预测加密货币收益方面显著优于基线情感模型，R 平方和方向准确率均有显著提升。
• 在弱标注数据上微调 BERT 改进了情感特征的质量，使预测模型中的预测因子更具信息量。
• 尽管缺乏金标准标签，该方法在性能上仍可与强监督训练的模型相媲美。
• 该框架表现出稳健性和泛化能力，表明其适用于其他涉及非结构化文本的金融预测任务。