[论文解读] An Unsupervised Probability Model for Speech-to-Translation Alignment of Low-Resource Languages

Antonios Anastasopoulos, David Chiang+1 more|arXiv (Cornell University)|Sep 26, 2016

Natural Language Processing Techniques参考文献 19被引用 7

一句话总结

该论文提出了一种无监督概率模型，通过动态时间规整（DTW）联合训练 fast_align 和 k-means 聚类，以实现低资源语言中语音片段与其翻译之间的对齐。通过将重参数化的 IBM Model 2 与基于 DBA 的 DTW 聚类相结合，该模型实现了优越的对齐性能——在极端低资源设置下，优于强基线模型和神经注意力模型。

ABSTRACT

For many low-resource languages, spoken language resources are more likely to be annotated with translations than with transcriptions. Translated speech data is potentially valuable for documenting endangered languages or for training speech translation systems. A first step towards making use of such data would be to automatically align spoken words with their translations. We present a model that combines Dyer et al.'s reparameterization of IBM Model 2 (fast-align) and k-means clustering using Dynamic Time Warping as a distance metric. The two components are trained jointly using expectation-maximization. In an extremely low-resource scenario, our model performs significantly better than both a neural model and a strong baseline.

研究动机与目标

• 解决在缺乏转录文本的情况下，对低资源或濒危语言的语音与翻译进行对齐的挑战。
• 实现语音片段与其对应翻译文本的自动对齐，以用于语言记录和语音翻译系统。
• 开发一种方法，利用翻译后的语音数据作为训练 NLP 系统的可行替代方案，而非依赖转录语音。
• 克服现有模型在极端低资源设置下的局限性，即缺乏并行转录语音数据。
• 通过将 fast_align 与基于 DTW 的 k-means 聚类结合，使用期望最大化算法联合训练，提升对齐准确率。

提出的方法

• 将 Dyer 等人对 IBM Model 2 的重参数化方法（fast_align）适配为建模语音帧与目标词对齐概率的框架，使用由 λ 和 p₀ 参数化的畸变模型。
• 在聚类过程中，使用动态时间规整（DTW）作为距离度量，衡量语音特征序列与词原型之间的相似性。
• 应用 DTW 平均化（DBA）迭代优化聚类中心，通过平均对齐的语音片段实现，以中位长度序列作为初始骨架。
• 通过期望最大化算法，联合训练 fast_align 和聚类模块，使对齐概率指导聚类更新，反之亦然。
• 建模条件概率 p(e|φ)，以偏好从语音到文本的对齐方向，从而将基于 DTW 的聚类整合进生成式框架。
• 引入一种简化模型变体，省略归一化因子 Zλ，以降低对短语或罕见词的过拟合风险。

实验结果

研究问题

• RQ1 当缺乏转录文本时，无监督模型能否有效实现语音片段与翻译之间的对齐？
• RQ2 与强基线相比，将 fast_align 与基于 DTW 的聚类结合，如何在低资源设置下提升对齐性能？
• RQ3 为何一种省略 Zλ 归一化因子的简化模型变体在对齐任务中优于完整归一化版本？
• RQ4 该模型在词序差异程度不同的语言对之间，其泛化能力如何？
• RQ5 该模型生成的对齐跨度在长度和准确率方面与标准答案相比如何？

主要发现

• 在 Griko-Italian 低资源设置下，所提模型的 F-score 达到 53.6，显著优于完整模型（44.0）和神经注意力模型（38.3）。
• 在西班牙语-英语语料库上，该模型在 Griko-Italian 测试集上取得 82.3 的 F-score，超过基线模型和神经模型。
• 该模型的平均对齐跨度长度（37±24 帧）比完整模型（30±39 帧）更接近标准答案（42±26 帧），表明其跨度估计更优。
• 罕见词（hapax legomena）的对齐准确率更高，其中 53% 的 F-score 超过 70.0，此类词的平均 F-score 达 63.2。
• 模型表现出词长（以帧为单位）与对齐 F-score 之间的正相关关系，较长的语音片段对齐更准确。
• 完整模型由于 span 概率分布 s(f|a,b) 的过拟合，倾向于生成极端对齐跨度（过短或过长），而简化模型通过使用 s(a,b|f) 避免了此问题。