[论文解读] Interactive Semantic Featuring for Text Classification

Camille Jandot, Patrice Y. Simard+3 more|arXiv (Cornell University)|Jun 24, 2016

Topic Modeling参考文献 3被引用 6

一句话总结

本文提出平滑词典特征，一种通过基于其上下文邻居建模词语属于词典的概率（使用朴素贝叶斯上下文得分的逻辑回归模型）来改进文本分类中语义特征工程的方法。该方法在保持高模型可解释性的同时，仅需极少的特征，即可在医疗和音乐文本分类任务的实验中实现与词袋（BoW）特征相当的性能。

ABSTRACT

In text classification, dictionaries can be used to define human-comprehensible features. We propose an improvement to dictionary features called smoothed dictionary features. These features recognize document contexts instead of n-grams. We describe a principled methodology to solicit dictionary features from a teacher, and present results showing that models built using these human-comprehensible features are competitive with models trained with Bag of Words features.

研究动机与目标

• 为解决词袋（BoW）特征在文本分类中的局限性，如高维性和可解释性差。
• 改进传统词典特征，后者因术语遗漏导致召回率低且缺乏上下文敏感性。
• 提出一种方法，在词典特征中融入上下文信息，以保持语义意义。
• 设计一种交互式教学过程，使教师能够通过主动学习和上下文建模，迭代优化特征。
• 评估上下文感知特征是否能在保持可解释性和高效性的同时，达到与BoW相当的性能。

提出的方法

• 提出平滑词典特征，基于词语周围上下文预测其属于词典的概率，而非依赖精确的n-gram匹配。
• 训练一个逻辑回归模型，利用周围文本的unigram上下文窗口，估计给定n-gram属于词典的概率。
• 使用朴素贝叶斯分类器计算的对数似然比作为上下文特征，这些特征基于每个n-gram周围非重叠且大小递增的窗口计算。
• 将这些上下文特征整合到逻辑回归模型中，输出词典归属的概率得分。
• 实现一个交互式教学循环，教师标注不确定样本，并根据上下文模型的建议改进词典。
• 采用主动学习策略——不确定性采样和分歧采样——以优先标注并迭代提升特征质量。

实验结果

研究问题

• RQ1 与标准词袋（BoW）特征相比，上下文感知词典特征是否能在保持可解释性的同时提升模型性能？
• RQ2 通过局部上下文对词典归属进行概率建模，是否能减少对精确n-gram匹配的依赖并提升泛化能力？
• RQ3 交互式教学过程是否能有效减少标注工作量，同时生成高质量的语义特征？
• RQ4 在特征数量受限的情况下，平滑词典特征与BoW在AUC和准确率上的表现如何比较？
• RQ5 模型是否能通过基于上下文感知预测改进词典，检测并纠正‘特征盲视’现象？

主要发现

• 平滑词典特征模型在医疗分类任务中AUC达到95.1%，在音乐分类任务中达到96.7%，优于标准词典特征（分别为86.4%和94.1%），并匹配BoW性能（分别为93.3%和95.3%）。
• 仅使用24个和27个语义特征，平滑词典模型在性能上与使用6,932个和6,999个特征的BoW模型相当，展现出极高的效率和可解释性。
• 当被限制仅使用189个和185个词（与词典大小匹配）时，BoW模型性能显著低于平滑词典模型，证实了上下文感知特征的优势。
• 交互式教学过程在2.4小时内生成27个医疗词典，在1.7小时内生成24个音乐词典，分别有56%和31%的时间用于标注，表明标注效率合理。
• 上下文模型成功建议了相关术语（如‘bassoon’、‘saxophone’、‘cello’）用于音乐词典，展示了超越精确匹配的有效泛化能力。
• 该方法通过基于上下文识别并改进词典，减少了特征盲视，提升了模型的鲁棒性和可解释性。