[论文解读] iCapsNets: Towards Interpretable Capsule Networks for Text Classification

Zhengyang Wang, Hu Xia+1 more|arXiv (Cornell University)|May 16, 2020

Topic Modeling参考文献 31被引用 7

一句话总结

该论文提出 iCapsNets，一种用于文本分类的新型可解释胶囊网络，通过基于胶囊的语义建模和可训练的多头注意力机制，实现局部和全局可解释性。该模型在 7 个数据集中的 4 个上超越基线模型，取得具有竞争力的分类准确率，同时为单个预测和整体模型行为提供人类可理解的解释。

ABSTRACT

Many text classification applications require models with satisfying performance as well as good interpretability. Traditional machine learning methods are easy to interpret but have low accuracies. The development of deep learning models boosts the performance significantly. However, deep learning models are typically hard to interpret. In this work, we propose interpretable capsule networks (iCapsNets) to bridge this gap. iCapsNets use capsules to model semantic meanings and explore novel methods to increase interpretability. The design of iCapsNets is consistent with human intuition and enables it to produce human-understandable interpretation results. Notably, iCapsNets can be interpreted both locally and globally. In terms of local interpretability, iCapsNets offer a simple yet effective method to explain the predictions for each data sample. On the other hand, iCapsNets explore a novel way to explain the model's general behavior, achieving global interpretability. Experimental studies show that our iCapsNets yield meaningful local and global interpretation results, without suffering from significant performance loss compared to non-interpretable methods.

研究动机与目标

• 解决文本分类中可解释深度学习模型的关键需求，其中高准确率往往以模型透明度为代价。
• 克服传统模型（如词袋模型）缺乏语义理解能力，以及深度学习模型（如 RNN、CNN）作为黑箱的局限性。
• 开发一种适用于文本的胶囊网络架构，支持局部可解释性（单样本解释）和全局可解释性（模型整体行为解释）。
• 通过在保持竞争性准确率的同时支持有意义、人类可理解的解释，弥合性能与可解释性之间的差距。
• 提出一种新方法，以反映语义相关性和模型决策过程的方式解释胶囊激活和注意力权重。

提出的方法

• 通过胶囊之间的动态路由建模语义意义，将胶囊网络（CapsNets）从计算机视觉领域适配到文本分类任务。
• 集成可训练的多头注意力层，以增强表征学习，并通过突出显示关键词和短语特征来提高可解释性。
• 在输入胶囊层之前使用 1D 卷积层提取局部 n-gram 特征，以保留序列结构。
• 以词嵌入作为输入，主胶囊在嵌入空间中学习稀疏且语义上独特的表征。
• 利用注意力机制为词语和短语分配重要性得分，通过识别对预测贡献最大的关键成分，实现局部可解释性。
• 通过 t-SNE 可视化胶囊查询，展示其在嵌入空间中稀疏且语义多样的分布，支持全局可解释性。

实验结果

研究问题

• RQ1 胶囊网络能否在保留可解释性的同时被有效适配到文本分类任务？
• RQ2 如何通过识别每项预测中最具影响力的词语或短语，实现在胶囊基模型中的局部可解释性？
• RQ3 能否通过分析整个数据集上学习到的胶囊表征和注意力模式，实现全局可解释性？
• RQ4 与不可解释的深度学习模型相比，所提出的 iCapsNets 模型在分类准确率方面能保持多大程度的竞争性？
• RQ5 注意力机制与胶囊路由能否共同提升文本分类任务中的性能与可解释性？

主要发现

• iCapsNets 在 7 个基准文本分类数据集上达到最先进或具有竞争力的准确率，在 12 个基线模型（包括 FastText、D-LSTM 和 CapsNets）中，有 4 个数据集上表现更优。
• 在 AG’s News 数据集上，iCapsNets Short 达到 99.0% 的测试准确率，甚至超越原始 CapsNets 和 FastText 基线模型。
• 主胶囊查询的 t-SNE 可视化显示其在嵌入空间中呈现稀疏且分离良好的分布，表明胶囊学习到了不同的语义概念。
• 通过注意力权重和胶囊激活突出关键词语和短语，有效实现了局部可解释性，为预测提供了人类可读的推理依据。
• 通过分析学习到的胶囊表征，展示了全局可解释性：不同胶囊在数据集中专门学习不同的语义特征。
• 尽管引入了可解释性机制，iCapsNets 的性能损失微乎其微，其准确率与不可解释模型（如 char-VDCNN 和 D-LSTM）相当。