[论文解读] Explicit Interaction Model towards Text Classification

Cunxiao Du, Zhaozheng Chin+4 more|arXiv (Cornell University)|Nov 23, 2018

Topic Modeling参考文献 17被引用 13

一句话总结

本文提出 EXAM，一种新颖的文本分类框架，通过交互机制显式建模输入标记与类别标签之间的词级交互，相较于传统的文本级编码模型，性能更优。通过学习交互矩阵中的细粒度匹配信号，EXAM 在多类和多标签基准测试中均取得最先进结果，凸显了词级线索在分类中的重要性。

ABSTRACT

Text classification is one of the fundamental tasks in natural language processing. Recently, deep neural networks have achieved promising performance in the text classification task compared to shallow models. Despite of the significance of deep models, they ignore the fine-grained (matching signals between words and classes) classification clues since their classifications mainly rely on the text-level representations. To address this problem, we introduce the interaction mechanism to incorporate word-level matching signals into the text classification task. In particular, we design a novel framework, EXplicit interAction Model (dubbed as EXAM), equipped with the interaction mechanism. We justified the proposed approach on several benchmark datasets including both multi-label and multi-class text classification tasks. Extensive experimental results demonstrate the superiority of the proposed method. As a byproduct, we have released the codes and parameter settings to facilitate other researches.

研究动机与目标

• 为解决深度神经网络在文本分类中的局限性，即仅依赖文本级表示而忽略细粒度的词-类匹配信号。
• 开发一种框架，显式捕捉输入词与类别标签之间的词级交互信号，以提升分类性能。
• 在多类和多标签文本分类任务上验证所提方法的有效性。
• 发布代码和超参数，以支持社区的可复现性与进一步研究。

提出的方法

• 该框架由三个组件构成：词级编码器、交互层和聚合层。
• 词级编码器（如 GRU 或区域嵌入）将输入文本转换为密集的词表示。
• 交互层通过词表示与类别表示之间的点积计算匹配得分矩阵，形成交互矩阵。
• 交互矩阵中的每个条目代表一个词-类匹配得分，捕捉细粒度的相关性信号。
• 聚合层将所有词的交互得分进行整合，生成每个类别的最终预测结果。
• 模型通过交叉熵损失端到端训练，实现词级交互与分类任务的联合优化。

实验结果

研究问题

• RQ1 显式建模词级交互信号是否能超越仅依赖文本级编码的分类性能？
• RQ2 在多类和多标签设置下，该交互机制与传统编码模型相比表现如何？
• RQ3 相对于全局文本级表示，词级匹配信号在分类中的贡献有多大？
• RQ4 不同的交互函数或架构设计如何影响该框架的性能？

主要发现

• EXAM 在多个基准数据集上超越了最先进模型，涵盖多类和多标签文本分类任务。
• 即使仅进行微小的架构调整（如对 TextRNN 稍作修改），模型仍能取得优异性能。
• 交互特征的可视化显示，不同类别关注不同的词语——例如，'Second-hand TIIDA' 对应 'Second-hand Car'，'got some problems' 对应 'Autocar Conversation'。
• 交互机制成功学习到有意义且具有类别特异性的词级信号，可视化示例中仅出现一次误分类。
• 结果证实，在给定任务中，词级交互特征比全局文本级表示更具信息量。