[论文解读] Creating a tagset, lexicon and guesser for a French tagger

Jean-Pierre Chanod, Pasi Tapanainen|ArXiv.org|Mar 2, 1995

Natural Language Processing Techniques参考文献 1被引用 26

一句话总结

本文提出了一套用于法语词性标注的词性标签集、词典及词汇猜测器，利用有限状态转移器将现有形态分析器转换为适配新标签集的系统。该猜测器在未知词上实现了85%的完美标注准确率，92%的未知词获得了所有必要标签，通过形态与拼写模式识别展现出对未登录词的强大鲁棒性。

ABSTRACT

We earlier described two taggers for French, a statistical one and a constraint-based one. The two taggers have the same tokeniser and morphological analyser. In this paper, we describe aspects of this work concerned with the definition of the tagset, the building of the lexicon, derived from an existing two-level morphological analyser, and the definition of a lexical transducer for guessing unknown words.

研究动机与目标

• 设计一个紧凑且实用的法语标签集，支持统计与基于约束的标注，同时最小化歧义。
• 将现有的两级形态分析器转换为基于有限状态转移器的词典，使其与新标签集对齐。
• 开发一种词汇猜测器，通过形态与拼写模式准确为未知词分配词性标签。
• 评估猜测器在未登录词上的性能，特别关注首字母大写、拼写错误及复合词的影响。
• 确保标签集、词典与猜测器之间的兼容性，以便在需要时可后续解析更精细的区分（如时态、语气）。

提出的方法

• 定义了包含88个标签的标签集，合并了在标注阶段无法可靠区分的语法特征（如动词时态与语气），以提升统计标注器的性能。
• 重用了现有的两级形态分析器，并通过映射规则将其转换为基于有限状态转移器的词典，以适配新标签集。
• 设计了一种词汇猜测器，通过分析词根、词缀、内部结构及拼写特征（如撇号、连字符、首字母大写）来处理词形。
• 将猜测器应用于新闻语料中的未知词，根据形态合理性进行标签分类，并排除与词源词不一致的标签。
• 采用两阶段评估：首先评估首字母大写的未知词（假设为专有名词），然后评估非首字母大写的未知词，评估标签分配的完整性和准确性。
• 将封闭类词（如介词、连词）视为完全由基础词典覆盖，从猜测器启发式规则中排除，以避免错误。

实验结果

研究问题

• RQ1 如何为法语设计一个紧凑且高效的标签集，以同时支持统计与基于约束的标注，同时最小化歧义？
• RQ2 现有两级形态分析器在多大程度上可被转换为与新标签集兼容的基于有限状态转移器的词典？
• RQ3 基于形态与拼写模式的猜测器在为未知法语词分配准确词性标签方面的有效性如何？
• RQ4 猜测器的主要失效模式是什么？它们与拼写错误、封闭类词或外来词有何关联？
• RQ5 即使标注器本身无法解析，系统是否可通过后续阶段的额外词典查询，保留如时态、语气等关键区分信息？

主要发现

• 猜测器对85%的未知词实现了完美标注（所有必需标签均正确，无多余标签），表明其对未登录词具有极强的鲁棒性。
• 对于非首字母大写的未知词，86%获得了所有必需标签，70%未获得任何多余标签，表明形态推理具有高精度。
• 首字母大写的未知词以超过95%的准确率被正确标注为专有名词，错误主要源于外来词或拟声词。
• 缺失标签的大部分（共118个）为本应正确标注为名词或过去分词的形容词标签，表明此类语法角色重叠降低了错误的影响。
• 猜测器面临的主要挑战包括拼写错误的不规则动词（如 constuit）、外来词（如 at, born, levantarse）以及仅在首词素上标记复数的复合名词（如 rencontres-télé）。
• 该系统可通过后续阶段的额外词典查询，实现对时态、语气等更精细区分的解析，即使标注器无法完成消歧，也能保留相关信息。