[论文解读] Normalization of Transliterated Words in Code-Mixed Data Using Seq2Seq Model & Levenshtein Distance

Soumil Mandal, Karthick Nanmaran|arXiv (Cornell University)|Jan 1, 2018

Natural Language Processing Techniques参考文献 18被引用 7

一句话总结

本文提出一种结合勒韦纳因距离的两阶段序列到序列模型，用于将音译的波地亚-英语混用词标准化为标准的 ITRANS 形式。第一阶段使用基于 LSTM 的序列到序列模型进行初步音译标准化，随后通过一个基于勒韦纳因距离的匹配模块，与精心整理的 ITRANS 词典进行比对；该系统在测试数据上达到 90.27% 的准确率，使下游情感分析性能提升 1.5%。

ABSTRACT

Building tools for code-mixed data is rapidly gaining popularity in the NLP research community as such data is exponentially rising on social media.Working with code-mixed data contains several challenges, especially due to grammatical inconsistencies and spelling variations in addition to all the previous known challenges for social media scenarios.In this article, we present a novel architecture focusing on normalizing phonetic typing variations, which is commonly seen in code-mixed data.One of the main features of our architecture is that in addition to normalizing, it can also be utilized for back-transliteration and word identification in some cases.Our model achieved an accuracy of 90.27% on the test data.

研究动机与目标

• 为解决社交媒体中文本中因使用罗马字母音译不一致而导致的语音拼写变异问题。
• 开发一种将非标准音译形式映射到其标准 ITRANS 形式的标准化系统，以提升语义理解能力并支持下游自然语言处理任务。
• 构建一个可复用的框架，不仅支持标准化，还支持反向音译和词识别，以与原文字体工具集成。
• 通过在嘈杂的混用文本上应用标准化模块，提升现有自然语言处理系统（如情感分析）的性能。

提出的方法

• 采用两阶段架构：首先，使用带有 LSTM 编码器和解码器的字符级 seq2seq 模型，将输入音译形式向标准形式进行标准化。
• seq2seq 模型在包含 6,000 个条目并配对了语音变异音译与 ITRANS 标准形式的平行词典（PL）上进行训练。
• 第二阶段使用勒韦纳因距离，将第一阶段模块的输出与更大的 ITRANS 词典（BN TRANS，共 21,850 个条目）进行比对，以找到最接近的匹配项。
• 应用一种改进的勒韦纳因距离算法，其中将某些语音替换（如 'a'/'o'、'b'/'v'）视为等价，通过替换为特殊符号来提升匹配鲁棒性。
• 在模型推理前应用基于规则的预处理：将数字替换为其波地亚语单词（如 '1' → 'ek'），并将字符延长（如 'baaaad'）截断为两个字符。
• 系统在词级别使用测试数据进行评估，并在任务级别通过先前研究的情感分析流水线进行评估。

实验结果

研究问题

• RQ1 seq2seq 模型能否有效学习将波地亚-英语混用文本中语音不一致的音译形式标准化为标准的 ITRANS 形式？
• RQ2 将神经标准化模块与勒韦纳因距离匹配结合，相比直接字符串匹配，能否显著提升准确率？
• RQ3 语音替换（如 'a' 与 'o'、'b' 与 'v'）在多大程度上影响标准化性能？将它们建模为等价是否能提升结果？
• RQ4 标准化是否能显著提升在混用文本上进行的下游自然语言处理任务（如情感分析）的性能？
• RQ5 未登录词和模型错误如何影响整体系统准确率？这些影响能否被缓解？

主要发现

• 所提出的系统在测试数据上实现了 90.27% 的词级标准化准确率，显著优于未使用 seq2seq 模块的基线设置。
• 与直接使用勒韦纳因距离匹配相比（从 58.78% 提升至 89.72% 的最佳非修改设置），引入 seq2seq 标准化阶段使准确率提升了 30.94 个百分点。
• 使用改进的勒韦纳因距离（将某些语音对视为等价，如 'a'/'o'、'b'/'v'）相比标准勒韦纳因距离，准确率进一步提升了 0.55 个百分点。
• 该系统使情感分析模型的 F1 分数提升了 1.41 个百分点（从 81.20 提升至 82.61），证明了其在下游任务中的实际效益。
• 92% 的标准化错误源于 BN TRANS 词典中未包含的未登录词，表明词汇覆盖是主要瓶颈。
• 错误输出与正确 ITRANS 形式之间的平均勒韦纳因距离为 1.89，表明 seq2seq 模型的预测通常已接近目标，因此更好的词典覆盖将带来显著性能提升。