[论文解读] Comprehensive Analysis of Aspect Term Extraction Methods using Various Text Embeddings

Łukasz Augustyniak, Tomasz Kajdanowicz+1 more|arXiv (Cornell University)|Sep 11, 2019

Sentiment Analysis and Opinion Mining被引用 4

一句话总结

本文针对SemEval数据集上的方面术语抽取（ATE）任务，对LSTM与BiLSTM架构结合多种预训练词嵌入及字符级嵌入进行了全面的实证研究。结果表明，采用词嵌入与字符嵌入的BiLSTM模型在性能上达到当前最先进水平，与复杂模型相当，且模型结构简单，具备高效、稳健的基线性能，适用于ATE任务。

ABSTRACT

Recently, a variety of model designs and methods have blossomed in the context of the sentiment analysis domain. However, there is still a lack of wide and comprehensive studies of aspect-based sentiment analysis (ABSA). We want to fill this gap and propose a comparison with ablation analysis of aspect term extraction using various text embedding methods. We particularly focused on architectures based on long short-term memory (LSTM) with optional conditional random field (CRF) enhancement using different pre-trained word embeddings. Moreover, we analyzed the influence on the performance of extending the word vectorization step with character embedding. The experimental results on SemEval datasets revealed that not only does bi-directional long short-term memory (BiLSTM) outperform regular LSTM, but also word embedding coverage and its source highly affect aspect detection performance. An additional CRF layer consistently improves the results as well.

研究动机与目标

• 为解决在多样化嵌入与架构下，ATE方法缺乏全面且可复现的对比研究。
• 评估预训练词嵌入在特定领域ATE任务中的鲁棒性与覆盖范围。
• 探究字符级嵌入在低资源或代表性不足语言中的性能提升作用。
• 基于性能、复杂度与资源约束，提供实用、数据驱动的ATE模型配置选择指南。
• 建立一个基于BiLSTM与混合词嵌入及字符嵌入的强而简洁的基线模型，其性能可媲美更复杂的模型。

提出的方法

• 采用双向与单向LSTM网络作为ATE任务的核心序列建模架构。
• 整合来自不同语料库与规模的多种预训练词嵌入（GloVe、fastText、word2vec、NumberBatch、Amazon Reviews）。
• 通过独立的CNN编码器增强词表示，引入子词信息的字符级嵌入。
• 在LSTM之上应用CRF层，以建模标签依赖关系，提升序列标注的准确性。
• 在两个SemEval基准数据集（Restaurant与Laptops）上进行模型训练与评估。
• 通过消融实验分析嵌入类型、网络架构与CRF集成的影响，以分离性能影响因素。

实验结果

研究问题

• RQ1 通用领域预训练词嵌入在特定领域方面术语抽取任务中的鲁棒性如何？
• RQ2 词嵌入的覆盖范围如何影响不同数据集与语言下的ATE性能？
• RQ3 在何种场景下，基于字符的词嵌入能优于仅使用静态词嵌入？
• RQ4 哪种架构（LSTM/BiLSTM）、嵌入组合（词嵌入、字符嵌入）与CRF集成方式能实现最优的ATE性能？
• RQ5 简单的BiLSTM模型结合混合词嵌入与字符嵌入是否能超越更复杂的模型？

主要发现

• 在Restaurant数据集上，采用词嵌入与字符嵌入的WoCh-BiLSTM-CRF模型取得了85.2%的最高F1分数，优于更复杂的模型。
• WoCh-BiLSTM-CRF模型在Laptops数据集上达到80.13%的F1分数，显著优于其他配置，展现出强大的泛化能力。
• GloVe.840B与fastText-crawl嵌入在两个数据集上均持续位列表现最佳的词嵌入之列。
• 引入字符级嵌入使性能相比仅使用词嵌入的模型最高提升2.5% F1，尤其在低资源或罕见词上表现更优。
• 所有配置中，CRF层的引入均持续提升了F1分数，且在BiLSTM模型中提升幅度最大。
• 仅使用简单BiLSTM架构并结合混合嵌入的模型，其性能可匹配或超越使用大规模语言模型的更复杂模型，证明了其高效性与有效性。