[论文解读] Japanese Sentiment Classification using a Tree-Structured Long Short-Term Memory with Attention

Ryosuke Miyazaki, Mamoru Komachi|arXiv (Cornell University)|Apr 4, 2017

Topic Modeling参考文献 32被引用 3

一句话总结

本文提出了一种带有注意力机制和极性词典的树形结构长短期记忆网络，用于日语情感分类，能够在仅使用句子级别标注语料库的情况下实现有效学习，而无需句法短语级别的标注。该模型通过注意力机制聚焦于关键短语，并利用极性词典作为弱监督信号来提供短语级别的情感信息，在日语情感分析数据集上实现了最先进（SOTA）的性能表现。

ABSTRACT

Previous approaches to training syntax-based sentiment classification models required phrase-level annotated corpora, which are not readily available in many languages other than English. Thus, we propose the use of tree-structured Long Short-Term Memory with an attention mechanism that pays attention to each subtree of the parse tree. Experimental results indicate that our model achieves the state-of-the-art performance in a Japanese sentiment classification task.

研究动机与目标

• 为解决日语中缺乏用于训练基于句法的情感模型的短语级别标注语料库的问题。
• 通过利用极性词典提供的弱监督信号，在低资源设置下提升情感分类性能。
• 仅使用句子级别的情感标签，实现递归神经网络的端到端训练。
• 证明注意力机制与极性词典可以有效替代昂贵的短语级别标注，在情感分析中发挥替代作用。

提出的方法

• 该模型使用树形结构的长短期记忆网络（Tree-LSTM），基于句法解析树递归地编码短语表示。
• 在根节点应用注意力机制，动态加权每个子树对最终句子情感预测的贡献。
• 利用极性词典为短语级别情感提供弱监督，将词典条目视为训练中的伪标注。
• 注意力机制在子树上计算注意力权重，使模型在分类过程中能够聚焦于语义上重要的短语。
• 模型仅使用句子级别的情感标签进行端到端训练，短语级别的信号通过极性词典条目注入。
• 该架构整合了注意力机制与基于词典的监督，以在缺乏完整短语级别标注的情况下提升表征学习能力。

实验结果

研究问题

• RQ1 树形LSTM模型是否能够在不依赖日语短语级别标注语料库的情况下实现强大的情感分类性能？
• RQ2 在低资源设置下，注意力机制在提升情感分类表征学习方面有多有效？
• RQ3 极性词典在多大程度上可以作为显式短语级别标注的替代方案，用于训练递归神经网络？
• RQ4 注意力机制与极性词典的结合是否优于仅使用其中一种组件的模型？
• RQ5 为何在英语数据集上使用极性词典会降低性能，尽管其在日语数据上表现提升？

主要发现

• 所提出的模型在日语情感分类基准上实现了最先进（SOTA）的准确率，优于Tree-CRF及其他强基线模型。
• 同时结合注意力机制与极性词典的模型达到最高准确率，较Tree-CRF高出1.8个百分点。
• 仅使用注意力机制即可提升标准Tree-LSTM的性能，但加入极性词典带来的性能增益更为显著。
• 在英语Stanford情感树库数据集上，使用极性词典会降低性能，可能由于领域不匹配导致的噪声。
• 定性分析表明，模型能够正确识别关键情感承载短语，如“cannot be found”和“apprehension”，但在注意力误导向时对否定和极性反转的处理失败。
• 通过关注上下文相关的短语，模型在注意力可视化示例中展现出对否定和极性反转的鲁棒捕捉能力。