[论文解读] Distributed Word Representation in Tsetlin Machine.

Rohan Kumar Yadav, Lei Jiao+2 more|arXiv (Cornell University)|Apr 14, 2021

Multimodal Machine Learning Applications参考文献 22被引用 4

一句话总结

本文提出了一种新颖的方法，将预训练词嵌入（如 word2vec 和 GloVe）集成到 Tsetlin Machine（TM）中，以提升自然语言处理（NLP）性能，同时保持可解释性。通过从预训练向量中提取语义相关的词作为输入特征，该方法显著提升了 TM 的准确率，在情感分析和词义消歧等任务中实现了与深度神经网络相当的性能。

ABSTRACT

Tsetlin Machine (TM) is an interpretable pattern recognition algorithm based on propositional logic. The algorithm has demonstrated competitive performance in many Natural Language Processing (NLP) tasks, including sentiment analysis, text classification, and Word Sense Disambiguation (WSD). To obtain human-level interpretability, legacy TM employs Boolean input features such as bag-of-words (BOW). However, the BOW representation makes it difficult to use any pre-trained information, for instance, word2vec and GloVe word representations. This restriction has constrained the performance of TM compared to deep neural networks (DNNs) in NLP. To reduce the performance gap, in this paper, we propose a novel way of using pre-trained word representations for TM. The approach significantly enhances the TM performance and maintains interpretability at the same time. We achieve this by extracting semantically related words from pre-trained word representations as input features to the TM. Our experiments show that the accuracy of the proposed approach is significantly higher than the previous BOW-based TM, reaching the level of DNN-based models.

研究动机与目标

• 解决传统 Tsetlin Machine 在 NLP 任务中依赖词袋（BOW）特征所导致的性能局限。
• 在可解释的 Tsetlin Machine 框架中实现对 word2vec 和 GloVe 等预训练词表示的使用。
• 在显著提升 NLP 任务中准确率的同时，保持模型的可解释性。
• 缩小 Tsetlin Machine 与深度神经网络在 NLP 应用中的性能差距。

提出的方法

• 从预训练词嵌入（如 word2vec、GloVe）中提取语义相关的词，作为 Tsetlin Machine 的输入特征。
• 将密集向量表示转换为适合基于命题逻辑学习的离散、语义有意义的特征。
• 利用 Tsetlin Machine 本身学习布尔特征的能力，基于这些推导出的语义特征对文本进行分类。
• 通过避免端到端学习并保留 Tsetlin Machine 的逻辑结构，保持可解释性。
• 将所得特征集应用于标准 NLP 任务，如情感分析和词义消歧。

实验结果

研究问题

• RQ1 能否在不牺牲可解释性的前提下，有效将预训练词嵌入集成到 Tsetlin Machine 中？
• RQ2 与传统的词袋特征相比，使用从预训练嵌入中推导出的语义特征时，Tsetlin Machine 的性能提升程度如何？
• RQ3 增强后的 Tsetlin Machine 在 NLP 任务中能在多大程度上匹配深度神经网络模型的准确率？

主要发现

• 所提出的方法在多个 NLP 任务中显著优于基于词袋（BOW）的基线 Tsetlin Machine。
• 在情感分析和词义消歧任务中，增强后的 Tsetlin Machine 性能达到与基于深度神经网络的模型相当的水平。
• 预训练词表示的集成提升了输入特征的语义表达能力，同时保持了模型的可解释性。
• 该方法成功弥合了可解释模型与最先进的深度学习模型在 NLP 领域的性能差距。