[论文解读] Using compression to identify acronyms in text

Stuart Yeates, David Bainbridge+1 more|ArXiv.org|Jul 4, 2000

Algorithms and Data Compression参考文献 3被引用 16

一句话总结

本文提出一种基于压缩的方法，通过使用无损压缩建模缩略语-全称配对的可能性，来检测文本中的缩略语及其定义。该方法在三字母及以上缩略语上实现了80%召回率下的85–90%高精确率，优于基于启发式规则的方法，减少了对手工设计规则的依赖，同时通过可调阈值灵活调节精确率与召回率之间的权衡。

ABSTRACT

Text mining is about looking for patterns in natural language text, and may be defined as the process of analyzing text to extract information from it for particular purposes. In previous work, we claimed that compression is a key technology for text mining, and backed this up with a study that showed how particular kinds of lexical tokens---names, dates, locations, etc.---can be identified and located in running text, using compression models to provide the leverage necessary to distinguish different token types (Witten et al., 1999)

研究动机与目标

• 开发一种无需依赖特定启发式规则的方法，用于在纯文本中识别缩略语及其定义。
• 探索无损压缩是否可作为检测关系信息（如缩略语及其定义）的通用机制。
• 通过利用文本压缩中的统计模式，减少对手工设计规则的依赖。
• 通过可调的压缩阈值，实现缩略语检测中召回率与精确率之间可调节的权衡。

提出的方法

• 该方法通过结合周围词语的首字母与缩略语的完整形式，对潜在的缩略语-全称配对进行编码，并使用压缩模型评估其可能性。
• 采用PPM（部分匹配预测）压缩算法作为基线，比较候选缩略语-全称序列的压缩效率。
• 通过阈值 $ t $ 控制接受标准：若候选的压缩比小于 PPM 压缩比的 $ t $ 倍，则接受该候选，表明其具有强统计规律性。
• 编码方案将大写字母和标点符号（如括号）视为缩略语结构的信号，尽管当前实现中尚未充分挖掘这些特征。
• 该方法在候选缩略语周围的滑动窗口内动态评估所有可能的缩略语-全称序列，利用压缩技术对配对进行排序并选择有效配对。
• 通过在不同阈值下绘制召回率-精确率曲线，对方法性能及其权衡关系进行评估。

实验结果

研究问题

• RQ1 无损压缩是否可在不依赖手工设计启发式规则的前提下，用于检测文本中的缩略语及其定义？
• RQ2 与现有基于启发式规则的方法相比，该基于压缩的方法在召回率与精确率方面的表现如何？
• RQ3 压缩模型在多大程度上能够区分真实的缩略语-全称配对与随机的首字母序列？
• RQ4 将大小写信息和标点符号纳入压缩模型会产生何种影响？
• RQ5 该方法是否可调参以实现缩略语检测中期望的召回率与精确率之间的平衡？

主要发现

• 基于压缩的方法在三字母及以上缩略语上实现了高达80%召回率下的85–90%精确率，显著优于TLA启发式方法。
• 在阈值 $ t = 0.1 $ 时，方法实现接近100%的高精确率但召回率较低，表明对高度可压缩序列具有强信号检测能力。
• 当阈值提高至 $ t = 0.2 $ 时，召回率稳步提升，而三字母及以上缩略语的精确率保持在85–90%的稳定水平。
• 在 $ t = 1.0 $ 时，召回率达到100%，但三字母及以上缩略语的精确率下降至约60%，表明自然外观的字母序列导致误报增加。
• 该方法优于简单的Perl启发式方法（表现较差），且在所有阈值下均优于TLA启发式方法，在召回率与精确率上均表现更优。
• 该方法对文档中同一缩略语多次出现的情况具有鲁棒性，但此类情况会增加评估指标中的噪声。