[论文解读] A Morphological Analyzer for Japanese Nouns, Verbs and Adjectives

Yanchuan Sim|arXiv (Cornell University)|Oct 1, 2014

Natural Language Processing Techniques参考文献 4被引用 3

一句话总结

本文提出了一种针对日语名词、动词和形容词的开源形态分析器，通过在 FOMA 工具包中使用有限状态转换器（FST）扩展 MeCab，实现了对敬语、时态、语气和语态等细粒度形态特征的分析。该分析器在形容词上的召回率为 89.2%，精确率为 89.2%；在动词上的召回率为 89.2%，精确率为 77.6%，显著优于 MeCab 的粗粒度分析，能够捕捉敬语、集体后缀以及复杂的动词变位形式。

ABSTRACT

We present an open source morphological analyzer for Japanese nouns, verbs and adjectives. The system builds upon the morphological analyzing capabilities of MeCab to incorporate finer details of classification such as politeness, tense, mood and voice attributes. We implemented our analyzer in the form of a finite state transducer using the open source finite state compiler FOMA toolkit. The source code and tool is available at https://bitbucket.org/skylander/yc-nlplab/.

研究动机与目标

• 开发一种能够捕捉细粒度语法特征（如敬语、时态、语气和语态）的形态分析器，超越 MeCab 的标准 69 种词性标签。
• 解决现有工具在形态分析方面细节不足的问题，特别是针对日语中的敬语、集体后缀和动词变位的分析。
• 通过扩展 MeCab 的输出，利用有限状态转换器（FST）框架，提升动词和形容词形态分析的精确率和召回率。
• 在真实语料库（Tanaka 语料库和日英多语词典）上评估系统，并识别关键的失败模式和覆盖盲区。
• 提出后处理启发式方法，在不损害召回率的前提下减少过生成现象，提升实际可用性。

提出的方法

• 分析器使用 FOMA 有限状态编译器实现有限状态转换器（FST），处理日语词形并生成多种形态分析结果。
• 通过添加诸如敬语（o-/go-）、语态（使役/被动）、体（完成体）和语气（可能体、否定）等详细形态特征，扩展 MeCab 的输出。
• 系统利用日英多语词典和 Tanaka 语料库构建了包含完整变位模式的动词和形容词语汇。
• 应用后处理识别器以过滤无效的词素排序，并将分析结果与 MeCab 的词典形式对齐，从而减少过生成。
• FST 在 Tanaka 语料库中选取的 2,000 个动词和 1,000 个形容词词素上进行训练和评估，精确率与召回率按词素计算。
• 系统同时处理以 -i 结尾的形容词（i-形容词）和需接连体助动词 -da 的形容词（na-形容词），并将连体助动词视为不规则动词以实现一致分析。

实验结果

研究问题

• RQ1 有限状态转换器能否有效建模日语动词和形容词中超越 MeCab 标准词性标签的细粒度形态特征（如敬语、时态和语态）？
• RQ2 该系统在名词和人名形式中对敬语前缀（o-/go-）和后缀（如 -san, -kun, -sama）的捕捉能力如何？
• RQ3 词汇覆盖范围和语料类型对精确率和召回率的影响如何，尤其考虑到日语的高度黏着性和动词变位的高产出性？
• RQ4 后处理启发式方法在不牺牲召回率的前提下，能在多大程度上减少过生成？
• RQ5 在变位复杂性和性能指标方面，i-形容词与 na-形容词的分析结果有何差异？

主要发现

• 分析器在形容词上的召回率为 89.2%，精确率为 89.2%，表明其在变位较少、形式更稳定的词类上表现强劲。
• 对于动词，系统召回率为 89.2%，但精确率仅为 77.6%，反映出在 Tanaka 语料库中因形态高产出性和口语化形式带来的挑战。
• 系统成功捕捉了复杂的动词形式，如 ‘信じられている’（被相信），通过 FST 规则生成了主分析和较少见的分析路径。
• 后处理步骤通过过滤无效的词素序列并匹配 MeCab 的词基，显著减少了过生成，提升了精确率，且未损害召回率。
• 覆盖盲区在动词中最为明显，原因在于其高产出性及词典覆盖不足，尤其在口语和非正式语言中更为突出。
• 评估集中 77.4% 的形容词处于其基本形式（词典形式），这有助于提高精确率，相较而言，变位形式更多的动词精确率较低。