[论文解读] Acronym-Meaning Extraction from Corpora Using Multi-Tape Weighted Finite-State Machines

André Kempe|arXiv (Cornell University)|Dec 6, 2006

Natural Language Processing Techniques参考文献 11被引用 4

一句话总结

本文提出一种三磁带加权有限状态机（3-WFSM），用于从文本语料库中自动提取缩略词与全称的对应关系，采用最小编辑操作的字符串对齐方法。该方法利用正则表达式生成一个包含27个状态、64条转移的紧凑机器，可在毫秒级时间内计算最优对齐，无需额外算法，仅依赖标准有限状态操作，实现高准确率。

ABSTRACT

The automatic extraction of acronyms and their meaning from corpora is an important sub-task of text mining. It can be seen as a special case of string alignment, where a text chunk is aligned with an acronym. Alternative alignments have different cost, and ideally the least costly one should give the correct meaning of the acronym. We show how this approach can be implemented by means of a 3-tape weighted finite-state machine (3-WFSM) which reads a text chunk on tape 1 and an acronym on tape 2, and generates all alternative alignments on tape 3. The 3-WFSM can be automatically generated from a simple regular expression. No additional algorithms are required at any stage. Our 3-WFSM has a size of 27 states and 64 transitions, and finds the best analysis of an acronym in a few milliseconds.

研究动机与目标

• 解决从非结构化文本语料库中自动提取缩略词-全称对的挑战。
• 将缩略词-全称对齐建模为最小编辑操作（删除和保留）的字符串对齐问题。
• 开发一种系统，可在不依赖自定义算法的前提下，找到最低成本的对齐方式，仅使用标准有限状态操作。
• 通过紧凑的、自动生成的有限状态机，实现缩略词-全称提取的高效率与高准确率。
• 证明三重加权有限状态机（3-WFSM）可使用标准有限状态工具与操作高效构建并应用。

提出的方法

• 该方法将缩略词-全称提取建模为三磁带加权有限状态机（3-WFSM），其中磁带1存储文本片段，磁带2存储缩略词，磁带3生成所有可能的对齐方式，句点用于标记缩略词中的字母。
• 从热带半环上的正则表达式编译出一个四磁带有限状态机（4-WFSM），通过约束实现跨磁带的同步符号匹配，编码对齐规则。
• 将4-WFSM与两个额外的双磁带有限状态机（2-WFSM）组合：一个用于规范化词首空格（G），另一个用于移除前导未使用的词和下划线。
• 通过一个单磁带有限状态机（1-WFSM）为操作（如插入、空格、位置）分配代价，权重选择直观（例如，'g' = 1，'G' = 3，'1' = 0），以反映语言上的合理性。
• 通过合并并丢弃中间磁带，将最终的6-WFSM简化为3-WFSM，仅保留输入（文本和缩略词）与输出（最佳对齐）。
• 使用最短路径算法（如Dijkstra算法）在最终的3-WFSM上选择最佳对齐，输出最可能的含义。

实验结果

研究问题

• RQ1 能否将缩略词-全称提取有效建模为具有最小编辑操作的字符串对齐问题？
• RQ2 能否从正则表达式自动生成一个三磁带加权有限状态机，以建模所有有效对齐？
• RQ3 所生成的系统能否在不依赖自定义学习或启发式算法的前提下，实现高准确率与低延迟？
• RQ4 与传统字符串对齐方法相比，使用有限状态机在此任务中的性能开销如何？
• RQ5 能否在保持对多样化缩略词-文本对准确率的同时，使系统高效且紧凑？

主要发现

• 所提出的用于缩略词-全称提取的3-WFSM仅包含27个状态和64条转移，计算效率高。
• 系统在12毫秒内完成单个缩略词的最佳对齐计算，典型情况下的中位时间为3.7毫秒。
• 该方法仅依赖标准有限状态操作，无需额外算法，开发时间仅需数小时。
• 系统在所有测试示例中均成功识别出正确的缩略词-全称对齐，包括复杂案例如'hmms'和'hmmshmms'。
• 最终的3-WFSM通过移除中间磁带，从6磁带机器中导出，仅保留输入与输出，形成最小且高效的模型。
• 通过1-WFSM分配代价，可利用标准最短路径算法选择最优对齐，当权重选择合理时，可确保结果正确。