[论文解读] Deep Multi-Instance Transfer Learning

Dimitrios Kotzias, Misha Denil+2 more|arXiv (Cornell University)|Nov 12, 2014

Topic Modeling参考文献 29被引用 15

一句话总结

本文提出了一种深度多实例迁移学习框架，通过深度神经网络嵌入，从粗粒度的评论级标签推断细粒度的句子级情感标签。通过利用学习到的句子表示之间的相似性以及正则化的流形学习目标，该方法在句子情感预测任务上实现了最先进性能，同时显著降低了人工标注成本，在100%召回率下的精确率优于一个监督式短语级模型。

ABSTRACT

We present a new approach for transferring knowledge from groups to individuals that comprise them. We evaluate our method in text, by inferring the ratings of individual sentences using full-review ratings. This approach, which combines ideas from transfer learning, deep learning and multi-instance learning, reduces the need for laborious human labelling of fine-grained data when abundant labels are available at the group level.

研究动机与目标

• 通过从分组数据（评论）向个体实例（句子）迁移标签，解决情感分析中对单个句子标注的高成本问题。
• 开发一种利用深度神经网络嵌入来建模句子间语义相似性的方法，以提升多实例学习性能。
• 通过利用丰富且易于获取的群体级标签（如完整评论评分）来减少对昂贵细粒度人工标注的依赖。
• 在受限训练数据条件下，实现对特定实体（如某部电影中的演员）的上下文特定情感预测。

提出的方法

• 训练一个监督式文档卷积神经网络（Denil et al.），以生成捕捉语义和结构特征的词语、句子和评论的深度嵌入。
• 将这些学习到的嵌入作为输入特征，用于正则化的流形学习目标函数，实现从评论级评分到单一句子的标签迁移。
• 基于“袋（评论）标签由实例（句子）标签的期望值决定”的假设，构建多实例学习目标，实现标签迁移。
• 使用基于相似性的正则化器优化模型，以在嵌入空间中保持局部结构，确保语义相似的句子获得相似的预测标签。
• 校准一个中性类别阈值（b = 0.048），使召回率与将中性预测视为无信息的基线方法保持一致。
• 通过仅使用特定电影的评论限制训练数据，将模型应用于上下文特定场景，实现实体级情感预测（如对某部电影中演员的情感）。

实验结果

研究问题

• RQ1 在多实例学习框架中，深度神经网络嵌入能否有效用于从群体级数据（评论）向个体级实例（句子）迁移标签？
• RQ2 当仅可获得评论级标签时，弱监督多实例学习模型的性能与强监督短语级情感分类器相比如何？
• RQ3 在缺乏细粒度标注的情况下，学习到的句子嵌入在在多大程度上能保持局部结构，以实现准确的标签传播？
• RQ4 该模型能否在受限训练数据条件下，被适配以预测特定上下文（如某部电影）中特定实体（如演员）的情感？
• RQ5 与完全监督方法相比，当标注实例数量大幅减少时，该方法是否仍能保持或提升性能？

主要发现

• 所提出的深度多实例迁移学习方法在100%召回率下，精确率高于最先进水平的监督式短语级情感分类器（Socher et al.），尽管仅需评论级标签。
• 当忽略中性预测时，该方法的精确率与基线方法相当，但在100%召回率下的精确率表现显著更优。
• 该模型在100%召回率下的精确率优于监督基线，证明了使用群体级标签的弱监督方法在性能上可超越短语级的强监督方法。
• 通过使用带有正则化流形目标的学习嵌入空间，即使缺乏句子级标签，也能实现有效的标签迁移。
• 针对特定电影中演员的上下文特定情感预测可生成合理排序（如根据推断情感对莱昂纳多·迪卡普里奥的角色进行排序），验证了模型捕捉上下文相关情感的能力。
• 该方法成功识别出评论中最具正面和负面情感的句子，这对客户服务质量改进等应用（尤其在整体评论高度积极的语料库中）具有重要价值。