[论文解读] Financial Aspect-Based Sentiment Analysis using Deep Representations

Steve Y. Yang, Jason Rosenfeld+1 more|arXiv (Cornell University)|Aug 23, 2018

Sentiment Analysis and Opinion Mining参考文献 13被引用 15

一句话总结

本文提出一种基于ULMFiT的迁移学习方法，结合领域自适应，以提升在小型FiQA数据集上的金融方面级情感分析（ABSA）性能。通过在相关金融语境数据集（VIC）上微调，并利用从方面级别1到级别2分类的层次化任务迁移，该方法在SOTA结果上实现了8.7%的F1分数提升和11%的MSE降低，证明了在低资源金融NLP场景下的有效性。

ABSTRACT

The topic of aspect-based sentiment analysis (ABSA) has been explored for a variety of industries, but it still remains much unexplored in finance. The recent release of data for an open challenge (FiQA) from the companion proceedings of WWW '18 has provided valuable finance-specific annotations. FiQA contains high quality labels, but it still lacks data quantity to apply traditional ABSA deep learning architecture. In this paper, we employ high-level semantic representations and methods of inductive transfer learning for NLP. We experiment with extensions of recently developed domain adaptation methods and target task fine-tuning that significantly improve performance on a small dataset. Our results show an 8.7% improvement in the F1 score for classification and an 11% improvement over the MSE for regression on current state-of-the-art results.

研究动机与目标

• 解决金融方面级情感分析（ABSA）缺乏大规模高质量标注数据集的问题。
• 提升在小型FiQA数据集上的性能，该数据集数据量不足，难以支持标准深度学习架构。
• 探索利用预训练语言模型的归纳迁移学习技术，以应对低资源金融NLP任务。
• 探究从方面级别1到级别2的层次化任务迁移是否能提升下游ABSA性能。
• 评估修改后的ULMFiT训练策略（如链式解冻和渐进式解冻）在小型金融文本数据集上的有效性。

提出的方法

• 在领域特定的金融语料（VIC）上微调预训练的AWD-LSTM语言模型，以适应金融文本分布。
• 应用ULMFiT的核心技术：渐进式解冻、可区分学习率和倾斜三角学习率，以防止灾难性遗忘。
• 采用链式解冻微调策略，从顶层开始逐层解冻并微调模型层，提升小样本数据下的稳定性。
• 执行多阶段微调：首先在长/短仓位分类任务（阶段2）上微调，然后在主要ABSA任务（方面级别2）上微调。
• 将预训练的方面级别1分类任务的内部模型状态迁移至方面级别2，以改善初始化，且推理时无需使用级别1标签。
• 通过已知词的嵌入平均处理OOV词，最大限度减少预处理需求。

实验结果

研究问题

• RQ1 ULMFiT等迁移学习技术是否能有效提升在小型、领域特定的金融数据集（如FiQA）上的ABSA性能？
• RQ2 使用相关但更简单的任务（方面级别1）作为中间任务的层次化微调，是否能提升主要ABSA任务（方面级别2）的性能？
• RQ3 不同的微调策略（如链式解冻与渐进式解冻）如何影响在有限训练数据下的模型稳定性和性能？
• RQ4 使用相关金融语料（VIC）进行领域自适应，是否能显著提升FiQA ABSA基准性能？
• RQ5 在低资源金融情感分析任务中，预训练大规模通用语料是否显著优于从随机初始化开始微调？

主要发现

• 与FiQA数据集上的SOTA结果相比，所提方法在方面级别2分类任务上实现了8.7%的F1分数绝对提升。
• 在情感回归任务上，模型的均方误差（MSE）降低了11%，尽管R-squared未提升，但仍优于当前SOTA。
• 即使推理时未使用级别1标签，将级别1作为中间任务也显著提升了级别2的性能。
• 链式解冻微调在不同训练样本规模下表现出更稳定和可预测的性能，尤其在样本少于100个时优势明显。
• 仅使用阶段1语言模型的性能与基线模型相当或更优，表明其在无需额外微调的情况下即具备实际应用价值。
• 该方法对数据稀缺具有鲁棒性，性能曲线在低数据量下未出现饱和，表明在获得更多数据时仍有进一步提升潜力。