[论文解读] Distributional Part-of-Speech Tagging

Hinrich Schuetze|ArXiv.org|Mar 8, 1995

Natural Language Processing Techniques参考文献 17被引用 53

一句话总结

本文提出了一种分布式词性标注方法，该方法对上下文中的单个词元进行分类，而非对词类进行分类，利用左、右上下文向量并结合奇异值分解（SVD）以降低维度并改善相似性度量。在布朗语料库上的评估表明，该方法即使在存在歧义的情况下，也能对常见词性实现稳健的标注，证明了仅利用未标注文本中的分布模式即可实现完全自动化的无监督标注是可行的。

ABSTRACT

This paper presents an algorithm for tagging words whose part-of-speech properties are unknown. Unlike previous work, the algorithm categorizes word tokens in context instead of word types. The algorithm is evaluated on the Brown Corpus.

研究动机与目标

• 开发一种无需依赖预存词汇知识或人工标注训练数据的无监督、全自动词性标注方法。
• 通过标注单个词的出现而非词类来解决词性歧义的普遍问题。
• 评估仅从未标注语料中的分布模式学习句法类别的可行性。
• 研究分布方法在处理罕见词、罕见结构和非局部依赖关系方面的局限性。
• 探索软分类在捕捉多类别词用法方面的潜力，这些用法无法通过硬分类准确表示。

提出的方法

• 该方法基于语料中每个词元的直接左右邻居，构建其左、右上下文向量，使用最常用的250个词作为向量维度。
• 使用余弦相似度基于共享邻居来度量词之间的分布相似性，但通过奇异值分解（SVD）进行改进，以缓解稀疏性并提高鲁棒性。
• SVD降低上下文矩阵的维度，生成保留分布相似性的低维表示，同时过滤掉由罕见共现引起的噪声。
• 基于词元的左、右上下文向量组合进行聚类，形成与句法类别相对应的分布聚类。
• 该算法根据聚类成员身份，将每个词元分配到单一词性类别，从而实现对词元的硬分类。
• 进行错误分析以识别失败案例，包括罕见词、分布难以区分的情况（如过去分词VBN与表语形容词PRD）以及非局部依赖关系。

实验结果

研究问题

• RQ1 是否可以在不依赖任何词类先验知识或人工标注训练数据的情况下实现词性标注？
• RQ2 在处理歧义时，对上下文中的词元进行分类是否优于对词类进行分类？
• RQ3 SVD在稀疏语料中提升分布相似性度量以实现词性归纳方面的有效性如何？
• RQ4 分布标注的主要失败模式是什么，特别是针对罕见词和非局部句法依赖关系？
• RQ5 分布聚类能否可靠地区分语义相似但句法不同的类别，例如过去分词（VBN）和表语形容词（PRD）？

主要发现

• 该算法仅利用未标注文本中的分布模式，成功为常见词推导出词性类别，证明了全自动标注的可行性。
• SVD显著提高了分布相似性的鲁棒性，通过减少噪声和处理稀疏性，尤其在高频词上表现突出。
• 由于缺乏足够的分布证据，该方法在罕见词和罕见句法结构上的表现较差，例如“ties”的两种动词用法被错误分类。
• 局部分布难以区分的词，如VBN和PRD，常被聚为同一类，表明仅靠局部上下文无法解决所有歧义。
• 当仅非局部依赖关系具有信息量时，算法会失败，如“CURRENTLY”和“IF”具有相似的直接邻居但词性不同。
• 尽管存在局限性，该方法仍能生成与语言类别相符的有意义聚类，如主语、专有名词和完整名词短语，尽管部分聚类需借助语言判断才能合并。