[论文解读] From the Token to the Review: A Hierarchical Multimodal approach to Opinion Mining

Alexandre Garcia, Pierre Colombo+3 more|arXiv (Cornell University)|Aug 29, 2019

Topic Modeling参考文献 40被引用 11

一句话总结

本文提出了一种分层多模态神经网络，可联合预测多层次（词元、句子、文本）的细粒度意见成分（如情感极性与意见对象），并通过跨粒度共享表征实现。该模型通过采用课程学习策略（优先训练较简单的低层级任务，再逐步过渡到高层级任务），在新发布的多模态意见挖掘语料库上实现了最先进性能，显著提升了在嘈杂、自发口语化语言数据上的鲁棒性。

ABSTRACT

The task of predicting fine grained user opinion based on spontaneous spoken language is a key problem arising in the development of Computational Agents as well as in the development of social network based opinion miners. Unfortunately, gathering reliable data on which a model can be trained is notoriously difficult and existing works rely only on coarsely labeled opinions. In this work we aim at bridging the gap separating fine grained opinion models already developed for written language and coarse grained models developed for spontaneous multimodal opinion mining. We take advantage of the implicit hierarchical structure of opinions to build a joint fine and coarse grained opinion model that exploits different views of the opinion expression. The resulting model shares some properties with attention-based models and is shown to provide competitive results on a recently released multimodal fine grained annotated corpus.

研究动机与目标

• 弥合书面文本中细粒度意见建模与自发多模态口语语言中粗粒度模型之间的差距。
• 通过分层多粒度监督，解决口语语言中不可靠的细粒度标注问题。
• 通过联合建模多种意见成分，在低资源、嘈杂的口语语言设置中提升意见预测性能。
• 探究课程学习（先训练较简单、低层级任务，再训练更复杂、抽象的任务）是否能提升多模态意见挖掘中的性能。
• 评估情感极性与意见对象联合预测在减少误差传播和提升泛化能力方面的有效性。

提出的方法

• 该模型采用分层神经网络架构，对多模态输入（文本、音频、视频）在多个层级（词元、句子、评论）进行处理。
• 采用课程学习策略，先在词元级情感极性任务上训练，再依次进行句子级和评论级任务训练，以提升泛化能力。
• 通过验证集调优超参数，采用自适应损失加权方法联合优化多个目标，以平衡任务重要性。
• 模型在不同层级间共享表征，实现从低层级到高层级预测的知识迁移。
• 引入注意力机制以聚焦于相关语言和多模态线索，提升可解释性与性能。
• 采用端到端训练方式，结合交叉熵损失（用于分类任务）与平均绝对误差（MAE）损失（用于回归任务）。

实验结果

研究问题

• RQ1 分层多粒度方法是否能提升在细粒度标注有限的多模态口语语言设置中的意见挖掘性能？
• RQ2 课程学习策略（先训练较简单、低层级任务，再训练更复杂、高层级任务）是否优于标准的联合训练？
• RQ3 与独立预测相比，情感极性与意见对象的联合预测在多大程度上提升了模型的鲁棒性与准确性？
• RQ4 在多目标优化中，自适应损失加权如何影响收敛性与性能表现？
• RQ5 注意力机制是否能增强在低资源、嘈杂口语语言意见挖掘中的可解释性与性能？

主要发现

• 在最优损失加权策略下，模型在评论层级的MAE得分为0.14，优于基线模型。
• 采用平滑过渡路径的损失加权课程学习策略（S1和S2）优于突变式过渡，其中S1取得最佳性能。
• 联合预测实体与极性显著提升了多数实体类别的F1分数，'Overall'与'Screenplay'类实体相对提升5%。
• 除'Vision and special effects'类别外，大多数类别在极性监督下均受益于实体预测任务，后者性能略有下降。
• 在词元层级，情感分类的F1得分为0.93；在句子层级为0.75，表明情感分类性能强劲。
• 最优损失权重为（λ_token = 0.05，λ_sentence = 0.5，λ_text = 1），表明文本层级监督对最终性能最为关键。