[论文解读] An Efficient Inductive Unsupervised Semantic Tagger

K.T. Lua|ArXiv.org|Jun 11, 1996

Natural Language Processing Techniques参考文献 9被引用 5

一句话总结

本文提出了一种高效的归纳式无监督中文语义标注器，利用词性标注语料和语义词典（同义词词林）为中文词语分配语义标签。该方法采用基于条件概率 P(S|P) 和 P(S|W) 的两步流程，并结合语义二元语法模型 P(S|S)，实现了 91% 的命中率，每秒标注 142 个词，比 Viterbi 基线快 2.3 倍。

ABSTRACT

We report our development of a simple but fast and efficient inductive unsupervised semantic tagger for Chinese words. A POS hand-tagged corpus of 348,000 words is used. The corpus is being tagged in two steps. First, possible semantic tags are selected from a semantic dictionary(Tong Yi Ci Ci Lin), the POS and the conditional probability of semantic from POS, i.e., P(S|P). The final semantic tag is then assigned by considering the semantic tags before and after the current word and the semantic-word conditional probability P(S|W) derived from the first step. Semantic bigram probabilities P(S|S) are used in the second step. Final manual checking shows that this simple but efficient algorithm has a hit rate of 91%. The tagger tags 142 words per second, using a 120 MHz Pentium running FOXPRO. It runs about 2.3 times faster than a Viterbi tagger.

研究动机与目标

• 开发一种无需大规模人工标注训练数据的快速且准确的无监督中文语义标注系统。
• 解决仅使用词性信息和语义词典为中文词语分配有意义语义标签的挑战。
• 通过引入上下文语义信息的归纳式两步标注流程，提升标注效率与准确性。
• 在包含 348,000 个词的词性标注语料上，通过人工验证评估标注器的性能。

提出的方法

• 首先，基于词性与语义词典（同义词词林）计算条件概率 P(S|P)，为每个词语选择候选语义标签。
• 其次，通过结合相邻词语的语义标签以及第一步中计算的词-语义条件概率 P(S|W)，确定最终语义标签。
• 使用语义二元语法概率 P(S|S) 建模相邻词语间语义标签的转移关系。
• 该算法在 120 MHz Pentium 计算机上使用 FOXPRO 实现，实现每秒 142 个词的高速处理。
• 系统以无监督、归纳方式运行，从语料中学习模式，无需预先标注的语义标签。
• 最终结果通过人工检查进行验证，以评估准确性和可靠性。

实验结果

研究问题

• RQ1 仅使用词性标签和语义词典，无监督语义标注器能否实现高准确率？
• RQ2 P(S|P)、P(S|W) 和 P(S|S) 的组合在多大程度上提升了语义标注性能？
• RQ3 在无监督、归纳式语义标注系统中，标注速度与准确率之间存在何种权衡？
• RQ4 两步标注流程是否能在不损失准确率的前提下，比传统序列标注方法（如 Viterbi）更快？
• RQ5 在缺乏标注数据的情况下，相邻词语的上下文信息在多大程度上能增强语义标签的分配？

主要发现

• 经最终人工验证，标注器在 348,000 个词的中文语料上实现了 91% 的命中率，表现优异。
• 在 120 MHz Pentium 上，系统每秒可标注 142 个词，比 Viterbi 基线快 2.3 倍。
• 使用语义二元语法概率 P(S|S) 有效提升了语义标签分配的上下文一致性。
• 两步法——先通过 P(S|P) 选择候选标签，再结合 P(S|W) 和 P(S|S) 进行优化——在无监督学习中表现高效。
• 该方法保持高效且可扩展，适用于大规模语义标注，且无需大量人工标注。
• 结果表明，在低资源环境下，通过极少监督的归纳式无监督学习，可实现高准确率的语义标注。