[论文解读] DisMo: A Morphosyntactic, Disfluency and Multi-Word Unit Annotator. An Evaluation on a Corpus of French Spontaneous and Read Speech

George Christodoulides, Mathieu Avanzi+1 more|arXiv (Cornell University)|Feb 8, 2018

Natural Language Processing Techniques参考文献 17被引用 38

一句话总结

DisMo 是一种用于法语口语的混合形态句法、不流畅性和多词单元标注工具，结合了词典资源、基于规则的系统和条件随机场（CRF）进行词性标注（POS）、不流畅性检测和多词单元识别。该系统在来自比利时、法国和瑞士的57,000个词元的自发性与朗读式法语语料上进行训练，对非标标点、语音对齐的转录文本实现了95%至96.8%的词性标注精确率。

ABSTRACT

We present DisMo, a multi-level annotator for spoken language corpora that integrates part-of-speech tagging with basic disfluency detection and annotation, and multi-word unit recognition. DisMo is a hybrid system that uses a combination of lexical resources, rules, and statistical models based on Conditional Random Fields (CRF). In this paper, we present the first public version of DisMo for French. The system is trained and its performance evaluated on a 57k-token corpus, including different varieties of French spoken in three countries (Belgium, France and Switzerland). DisMo supports a multi-level annotation scheme, in which the tokenisation to minimal word units is complemented with multi-word unit groupings (each having associated POS tags), as well as separate levels for annotating disfluencies and discourse phenomena. We present the system's architecture, linguistic resources and its hierarchical tag-set. Results show that DisMo achieves a precision of 95% (finest tag-set) to 96.8% (coarse tag-set) in POS-tagging non-punctuated, sound-aligned transcriptions of spoken French, while also offering substantial possibilities for automated multi-level annotation.

研究动机与目标

• 开发一种用于口语法语的多层级标注系统，整合形态句法、不流畅性和多词单元分析。
• 解决在自发性和朗读式法语口语中缺乏公开可用、稳健的形态句法与话语层级标注工具的问题。
• 构建一种结合基于规则的方法、词典资源和CRF模型的混合系统，以提高标注准确率和可扩展性。
• 在涵盖自发性与朗读口语的多样化、多地区法语语料上评估该系统。
• 为从事法语口语语料在自然语言处理与语音处理研究的学者提供一个公开可用、可重用的工具。

提出的方法

• DisMo 采用分层词性标注体系，支持细粒度与粗粒度的形态句法分析。
• 系统整合了基于规则的组件和词典资源（如形态词典），以提升在低资源和噪声口语语境下的标注准确率。
• 条件随机场（CRF）作为序列标注的统计基础，用于建模转录口语中相邻词元之间的依赖关系。
• 不流畅性检测作为独立的标注层，用于识别法语口语中的填充停顿、重复和更正现象。
• 多词单元（MWUs）被识别并归类为句法或语义单元，附带相应的词性标签，以支持话语层级分析。
• 该系统在来自比利时、法国和瑞士的57,000词元法语口语语料上进行训练与评估，涵盖自发性与朗读式口语。

实验结果

研究问题

• RQ1 结合规则、词典资源和CRF模型的混合系统能否在非标点、语音对齐的口语法语转录文本中实现高精度的词性标注？
• RQ2 单一系统在保持形态句法和多词单元标注的同时，能在多大程度上有效检测自发性法语口语中的不流畅性？
• RQ3 DisMo 系统在不同法语方言变体（比利时法语、法国法语、瑞士法语）中的表现有何差异？
• RQ4 分层标注体系与多层级标注方案是否能改善口语语料中句法与话语现象的表征？
• RQ5 在单一集成系统中自动化实现多层级标注（词性、不流畅性、MWUs）是否可行且有效？

主要发现

• 当应用于非标点、语音对齐的口语法语转录文本时，DisMo 在最细粒度词性标注体系上达到95%的精确率，在粗粒度标注体系上达到96.8%的精确率。
• 该系统在不流畅性检测方面表现出色，能成功识别自发口语中的常见不流畅性标记，如填充停顿、重复和自我更正。
• 词典资源与基于规则的组件的整合显著提升了在低资源和噪声口语语境下的标注准确率。
• 多词单元识别组件能有效将内容词聚类为有意义的句法与语义单元，支持后续的话语与语义分析。
• 结合CRF模型与基于规则和词典组件的混合架构，使系统在多种法语口语变体中均能实现稳健且可扩展的标注。
• 在来自三个法语国家的57,000词元语料上的评估结果证实了该系统在法语口语区域方言差异中的泛化能力。