[论文解读] Morphological annotation of Korean with Directly Maintainable Resources

Ivan Berlocher, Hyun-Gue Huh+2 more|ArXiv.org|Nov 21, 2007

Natural Language Processing Techniques参考文献 9被引用 3

一句话总结

本文提出了一种基于资源的韩语形态学注释系统，通过直接可维护的词干词典、词缀转换器和异形词生成器，绕过了传统的形态学规则。该系统在无需训练的情况下实现了89%的召回率，文本处理速度达每秒1,210个词，为黏着语自然语言处理中的句法解析提供了高效且可更新的语言学处理方案。

ABSTRACT

This article describes an exclusively resource-based method of morphological annotation of written Korean text. Korean is an agglutinative language. Our annotator is designed to process text before the operation of a syntactic parser. In its present state, it annotates one-stem words only. The output is a graph of morphemes annotated with accurate linguistic information. The granularity of the tagset is 3 to 5 times higher than usual tagsets. A comparison with a reference annotated corpus showed that it achieves 89% recall without any corpus training. The language resources used by the system are lexicons of stems, transducers of suffixes and transducers of generation of allomorphs. All can be easily updated, which allows users to control the evolution of the performances of the system. It has been claimed that morphological annotation of Korean text could only be performed by a morphological analysis module accessing a lexicon of morphemes. We show that it can also be performed directly with a lexicon of words and without applying morphological rules at annotation time, which speeds up annotation to 1,210 word/s. The lexicon of words is obtained from the maintainable language resources through a fully automated compilation process.

研究动机与目标

• 开发一种韩语形态学注释系统，避免依赖形态学规则引擎。
• 仅使用可直接维护的语言资源（如词干词典和词缀转换器）实现高精度注释。
• 实现适合集成到句法解析流水线中的高速注释速度。
• 通过对手动更新语言资源的控制，确保系统性能可调控并可逐步演进。
• 证明韩语形态学注释可在不使用词素级词典或运行时形态学规则的情况下实现。

提出的方法

• 系统以词干词典作为主要语言学资源，通过可维护组件自动编译而成。
• 基于预定义的形态学模式，应用词缀转换器将词语分解为词素。
• 异形词生成由专用转换器处理，以生成正确的屈折变体。
• 运行时注释过程完全无规则依赖，仅依赖预先编译且可维护的资源。
• 系统构建一个带有丰富语言学标签的词素图，其标签集的粒度是标准标签集的3至5倍。
• 所有组件——词典、转换器和生成规则——均设计为便于手动更新，以确保长期可维护性。

实验结果

研究问题

• RQ1 韩语形态学注释是否可以在不依赖词素级词典或运行时形态学规则的情况下有效实现？
• RQ2 仅使用可维护且可手动更新的语言资源，系统是否能实现高召回率和高速度？
• RQ3 是否可行通过可维护组件自动编译出基于词语的词典，以实现准确的形态学分析？
• RQ4 与传统形态学分析器相比，无规则的、基于资源的系统在召回率和速度方面的表现如何？
• RQ5 通过直接维护语言资源，系统在准确率和行为控制方面能达到何种程度的可控性？

主要发现

• 该系统在未经任何语料训练的情况下，于参考标注语料上实现了89%的召回率。
• 注释速度达到每秒1,210个词，显著快于基于规则的方法。
• 系统性能可通过手动更新词典和转换器直接控制。
• 标签集的粒度是标准标签集的3至5倍，支持细粒度的语言学注释。
• 该方法成功绕过了对词素级词典的需求，证明了仅使用词级资源即可实现准确的形态学注释。
• 完全自动化的编译过程确保了词典与底层可维护资源的一致性。