[论文解读] A small Griko-Italian speech translation corpus

Marcely Zanon Boito, Antonios Anastasopoulos+3 more|White Rose Research Online (University of Leeds, The University of Sheffield, University of York)|Jul 27, 2018

Natural Language Processing Techniques参考文献 50被引用 5

一句话总结

本论文提出一个小型、公开可用的希腊-意大利语语音翻译语料库，包含330个语音样本，涵盖语音、转录、意大利语翻译、词级对齐、词法句法标注、词义标注以及自动生成的伪音素。该研究展示了基于单语和双语方法的语音到翻译对齐及无监督词发现的基线性能，采用音位级分割时召回率达到75.10%，凸显了在极度低资源环境下词发现所面临的挑战。

ABSTRACT

This paper presents an extension to a very low-resource parallel corpus collected in an endangered language, Griko, making it useful for computational research. The corpus consists of 330 utterances (about 20 minutes of speech) which have been transcribed and translated in Italian, with annotations for word-level speech-to-transcription and speech-to-translation alignments. The corpus also includes morphosyntactic tags and word-level glosses. Applying an automatic unit discovery method, pseudo-phones were also generated. We detail how the corpus was collected, cleaned and processed, and we illustrate its use on zero-resource tasks by presenting some baseline results for the task of speech-to-translation alignment and unsupervised word discovery. The dataset is available online, aiming to encourage replicability and diversity in computational language documentation experiments.

研究动机与目标

• 为濒危的希腊-意大利语（Griko）语言创建一个公开可访问的多层次标注语料库，以支持计算语言学记录工作。
• 实现对低资源语音与自然语言处理技术的可复现评估，尤其在极端资源匮乏情境下。
• 为一种真正濒危语言的语音到翻译对齐及无监督词发现提供基线结果。
• 通过共享数据与标准化评估指标，推动社区驱动的方法改进。
• 证明利用意大利语翻译进行跨语言监督，可在低资源环境下提升词发现性能。

提出的方法

• 收集了330个希腊-意大利语语音样本，附带对应的意大利语翻译，并在词级进行对齐。
• 对语料库进行词法句法标注与词级词义标注，以支持语言学分析。
• 应用自动单元发现方法，从原始语音信号中生成伪音素。
• 使用带有软注意力矩阵的神经机器翻译（NMT）模型执行语音到翻译对齐，随后通过后处理提取硬分割边界。
• 通过邻域平均与温度缩放（T=1）进行对齐平滑处理，以提升基于注意力的分割稳定性。
• 采用2017年零资源挑战赛的边界评估指标（F值、精确率、召回率）对图素与伪音素表示下的词发现性能进行评估。

实验结果

研究问题

• RQ1 一个小型、低资源的语音翻译语料库，若附带多语言标注，是否能有效支持濒危语言的无监督词发现？
• RQ2 与单语方法相比，利用意大利语翻译提供的跨语言监督，对词分割性能的提升效果如何？
• RQ3 在极度低资源环境下，使用伪音素而非图素对词发现性能有何影响？
• RQ4 在该语料库上，不同基线方法——单语（dpseg）、比例法与神经方法——在分割准确率方面表现如何比较？
• RQ5 对齐平滑与模型平均在多大程度上提升了低资源场景下神经词分割的鲁棒性与性能？

主要发现

• 单语dpseg模型在图素级词分割上达到75.10%的召回率，表明即使在极端低资源条件下仍具有强大性能。
• 合并后的神经分割基线在图素级分割上优于其他双语方法，在所有神经方法中取得了最高的F值。
• 所有方法在伪音素表示上的性能均显著下降，F值保持较低水平，表明单位发现过程中的噪声传播构成显著挑战。
• dpseg模型在伪音素上表现出过度分割，每句话生成的词元数量多于其他方法。
• 神经分割方法在伪音素上的分段数少于dpseg，表明在噪声表示中存在向下的分割倾向。
• 结果凸显了在极低资源环境下进行无监督词发现的困难，尤其是在使用自动生成的伪音素时。