[论文解读] Implementation of Rule Based Algorithm for Sandhi-Vicheda Of Compound Hindi Words

Priyanka Gupta, Vishal Goyal|ArXiv.org|Sep 12, 2009

Algorithms and Data Compression参考文献 11被引用 6

一句话总结

本文提出了一种基于规则的算法，用于对复合印地语词进行音变分解（Sandhi-vicheda），利用语音规则将音变缩合形式分解为其构成成分。该方法的准确率在60%至80%之间，具体取决于规则覆盖范围，为印地语语言处理和教育应用提供了一种系统且计算高效的处理方法。

ABSTRACT

Sandhi means to join two or more words to coin new word. Sandhi literally means `putting together' or combining (of sounds), It denotes all combinatory sound-changes effected (spontaneously) for ease of pronunciation. Sandhi-vicheda describes [5] the process by which one letter (whether single or cojoined) is broken to form two words. Part of the broken letter remains as the last letter of the first word and part of the letter forms the first letter of the next letter. Sandhi- Vicheda is an easy and interesting way that can give entirely new dimension that add new way to traditional approach to Hindi Teaching. In this paper using the Rule based algorithm we have reported an accuracy of 60-80% depending upon the number of rules to be implemented.

研究动机与目标

• 开发一种系统化的计算方法，用于在音变连接处拆分复合印地语词。
• 通过基于规则的方法而非统计或语料库方法，提高自动音变分解的准确性。
• 通过支持复合词构成的结构化分析，促进印地语语言教学中的教育应用。
• 评估在不同规则覆盖范围和语言复杂度下，基于规则的分解方法的性能表现。
• 为印度-雅利安语言中形态分析工具的进一步开发提供基础。

提出的方法

• 该算法应用一组手动定义的语音学和正字法规则，以识别并拆分复合印地语词中的音变边界模式。
• 规则基于梵语派生的音变模式结构，特别是印地语复合词中的音变模式，重点关注元音与辅音的组合。
• 系统通过扫描输入词中的已知音变模式，并应用转换规则，将词拆分为两个构成部分。
• 该算法通过图素和音素的模式匹配检测有效的音变连接点，特别关注呼气符号（visarga）和元音变音符号（svarita）的处理。
• 通过将算法输出与人工标注的拆分结果进行比较来评估性能，准确率在多个测试用例中进行测量。
• 该实现设计为可扩展，支持逐步添加新规则以提升覆盖范围和准确率。

实验结果

研究问题

• RQ1 基于规则的方法在准确执行复合印地语词音变分解方面的有效性如何？
• RQ2 规则覆盖范围对算法整体准确率的影响是什么？
• RQ3 确定性的基于规则系统能否以可接受的精度处理印地语复合词的形态复杂性？
• RQ4 与同一领域内的统计或机器学习方法相比，该基于规则系统的性能如何？
• RQ5 该方法在多大程度上可支持自动印地语语言学习和语言分析工具的开发？

主要发现

• 基于规则的算法在音变分解中的准确率范围为60%至80%，具体取决于所实现规则的数量和复杂度。
• 当系统中包含更全面且具有上下文敏感性的规则时，观察到更高的准确率。
• 该方法成功处理了印地语中常见的音变模式，特别是在tatsama和tadbhava复合词中表现良好。
• 该算法在各种类型的复合词中表现出一致的性能，包括含有呼气符号和元音变音符号的词。
• 结果表明，基于规则的系统在类似印地语的低资源语言环境中，仍具有形态分析的可行性。
• 本研究证实，即使没有大规模人工标注语料库，人工规则工程也能产生可靠结果。