[论文解读] Google Translate Error Analysis for Mental Healthcare Information: Evaluating Accuracy, Comprehensibility, and Implications for Multilingual Healthcare Communication

Jaleh Delfani, Constantin Orǎsan+6 more|arXiv (Cornell University)|Feb 6, 2024

Interpreting and Communication in HealthcareHealth Professions被引用 3

一句话总结

本研究评估了谷歌翻译在将英文心理健康信息翻译成波斯语、阿拉伯语、土耳其语、罗马尼亚语和西班牙语时的表现。通过母语者评估，研究发现医学术语和格式方面存在显著的准确性与流利度问题，尤其在阿拉伯语和波斯语中更为严重，凸显了在多语言心理健康传播中需要定制化翻译系统和人工审核的重要性。

ABSTRACT

This study explores the use of Google Translate (GT) for translating mental healthcare (MHealth) information and evaluates its accuracy, comprehensibility, and implications for multilingual healthcare communication through analysing GT output in the MHealth domain from English to Persian, Arabic, Turkish, Romanian, and Spanish. Two datasets comprising MHealth information from the UK National Health Service website and information leaflets from The Royal College of Psychiatrists were used. Native speakers of the target languages manually assessed the GT translations, focusing on medical terminology accuracy, comprehensibility, and critical syntactic/semantic errors. GT output analysis revealed challenges in accurately translating medical terminology, particularly in Arabic, Romanian, and Persian. Fluency issues were prevalent across various languages, affecting comprehension, mainly in Arabic and Spanish. Critical errors arose in specific contexts, such as bullet-point formatting, specifically in Persian, Turkish, and Romanian. Although improvements are seen in longer-text translations, there remains a need to enhance accuracy in medical and mental health terminology and fluency, whilst also addressing formatting issues for a more seamless user experience. The findings highlight the need to use customised translation engines for Mhealth translation and the challenges when relying solely on machine-translated medical content, emphasising the crucial role of human reviewers in multilingual healthcare communication.

研究动机与目标

• 评估谷歌翻译将英文心理健康信息翻译成波斯语、阿拉伯语、土耳其语、罗马尼亚语和西班牙语的准确性和可理解性。
• 识别机器翻译的心理健康内容中医学术语、句法、语义和格式方面的关键错误。
• 评估在临床和公共卫生环境中依赖谷歌翻译进行多语言心理健康传播的后果。
• 强调现成机器翻译在高风险医疗情境中的局限性，并倡导采用定制化翻译解决方案。
• 强调人工审校在确保多语言心理健康传播安全有效方面所起的决定性作用。

提出的方法

• 从英国国家医疗服务体系和皇家精神病学院收集了两组心理健康信息数据集。
• 使用谷歌翻译将英文内容翻译成波斯语、阿拉伯语、土耳其语、罗马尼亚语和西班牙语。
• 各目标语言的母语者对翻译结果进行了人工评估，评估内容包括准确性、流利度和关键错误。
• 评估重点在于医学术语、句法和语义正确性以及格式一致性，尤其关注项目符号的格式。
• 错误类型被分类为词汇性、句法性、语义性或格式相关错误，特别关注其对临床安全的影响。
• 进行了定量与定性分析，以比较不同语言间的性能表现，并识别重复出现的问题。

实验结果

研究问题

• RQ1 谷歌翻译在将五种目标语言的心理健康术语准确翻译方面表现如何？
• RQ2 谷歌翻译输出中的流利度和句法问题在多大程度上影响了心理健康信息的可理解性？
• RQ3 机器翻译的心理健康内容中常见哪些关键错误——尤其是格式或临床含义方面的错误？
• RQ4 波斯语、阿拉伯语、土耳其语、罗马尼亚语和西班牙语之间的翻译质量差异如何？
• RQ5 在现实临床和公共卫生环境中使用谷歌翻译进行多语言心理健康传播会产生哪些影响？

主要发现

• 谷歌翻译在准确翻译医学术语方面面临显著挑战，尤其在阿拉伯语、罗马尼亚语和波斯语中，词汇和语义错误率较高。
• 流利度问题在所有语言中普遍存在，但在阿拉伯语和西班牙语中最为严重，即使术语正确，仍会损害理解。
• 项目符号格式错误频繁发生，尤其在波斯语、土耳其语和罗马尼亚语中，破坏了信息层级和清晰度。
• 尽管长文本翻译在流利度方面略有改善，但医学术语的准确性仍不稳定且存在临床隐患。
• 研究发现，未经人工监督的现成机器翻译系统（如谷歌翻译）不足以实现安全可靠的多语言心理健康传播。
• 结果支持迫切需要领域专用的定制化翻译引擎，并在多语言心理健康内容发布中实施强制人工审校。