[论文解读] Learning Semantically Coherent and Reusable Kernels in Convolution Neural Nets for Sentence Classification

Madhusudan Lakshmana, Sundararajan Sellamanickam+2 more|arXiv (Cornell University)|Aug 1, 2016

Topic Modeling参考文献 31被引用 5

一句话总结

本文通过使用 Word2Vec 和 SentiWordNet 嵌入对 k-gram 进行聚类，提出在 CNN 中学习语义一致且可重用的卷积核，用于句子分类。该方法通过注意力可视化提升模型可解释性，并通过核重用显著减少训练时间，在重用核的情况下实现接近最先进水平的性能，且训练时间减少 90%。

ABSTRACT

The state-of-the-art CNN models give good performance on sentence classification tasks. The purpose of this work is to empirically study desirable properties such as semantic coherence, attention mechanism and reusability of CNNs in these tasks. Semantically coherent kernels are preferable as they are a lot more interpretable for explaining the decision of the learned CNN model. We observe that the learned kernels do not have semantic coherence. Motivated by this observation, we propose to learn kernels with semantic coherence using clustering scheme combined with Word2Vec representation and domain knowledge such as SentiWordNet. We suggest a technique to visualize attention mechanism of CNNs for decision explanation purpose. Reusable property enables kernels learned on one problem to be used in another problem. This helps in efficient learning as only a few additional domain specific filters may have to be learned. We demonstrate the efficacy of our core ideas of learning semantically coherent kernels and leveraging reusable kernels for efficient learning on several benchmark datasets. Experimental results show the usefulness of our approach by achieving performance close to the state-of-the-art methods but with semantic and reusable properties.

研究动机与目标

• 通过学习在语义上相关联的短语（如 'liked such movies' 和 'loved this film'）上激活的语义一致核，提升句子分类模型的可解释性。
• 开发一种可视化技术，突出显示对预测决策有显著贡献的关键词，增强决策解释性。
• 研究并证明在相似 NLP 任务之间重用预训练核的可行性，以减少训练时间。
• 通过控制灵活滤波器的数量，在保持语义一致性的同时平衡模型性能与可解释性。

提出的方法

• 使用结合 Word2Vec 和 SentiWordNet 嵌入的距离函数对训练语料中的 k-gram 进行聚类，形成语义一致的组别。
• 为每个聚类定义参数化卷积核，并与 Softmax 分类器层联合训练。
• 提出一种基于最大池化核输出的词评分方案，以识别并可视化输入句子中注意力加权的关键词。
• 在另一个数据集（如 MR 或 SST-1）上重用来自一个数据集（如 IMDB）的预训练核，仅微调分类器层。
• 引入一种混合方法，在语义一致核中添加少量（10% 或 25%）灵活滤波器，以在不完全牺牲可解释性的情况下提升性能。

实验结果

研究问题

• RQ1 我们能否在 CNN 中学习到语义一致的卷积核，使其在语义上相关的短语（如 'liked such movies' 和 'loved this film'）上激活？
• RQ2 我们如何可视化并解释句子中哪些词对模型预测决策最具影响力？
• RQ3 在不重新训练的情况下，从一个文本分类任务中训练的核能在多大程度上被重用于另一个相似任务？
• RQ4 当在原本一致的核中引入少量灵活滤波器时，模型性能与可解释性之间的权衡如何？

主要发现

• 使用语义一致核的 WkA 模型在 MR 数据集上达到 78.77% 的准确率，在 IMDB 上达到 89.17%，性能接近最先进水平的 CNN-S 模型。
• 仅添加 10% 的灵活滤波器，便使 WkA 模型在 SST-1 上的准确率提升至 43.30%，显著缩小与 CNN-S 的性能差距，同时保持可解释性。
• 在 MR、SST-1 和 SST-2 上重用 IMDB 的核，准确率在 73.78% 到 89.17% 之间，证明了在相似任务间具有强大的迁移能力。
• 在 SST-1 上重用 WkA 核，训练时间从约 2 小时（完整训练）减少至仅 2 分钟，实现数量级的性能提升。
• 可视化技术成功突出显示了 'loved' 和 'best' 等关键性词语，证实模型注意力与人类可解释的情感线索一致。