[論文レビュー] Google Translate Error Analysis for Mental Healthcare Information: Evaluating Accuracy, Comprehensibility, and Implications for Multilingual Healthcare Communication

Jaleh Delfani, Constantin Orǎsan+6 more|arXiv (Cornell University)|Feb 6, 2024

Interpreting and Communication in HealthcareHealth Professions被引用数 3

ひとこと要約

本研究では、英語からペルシャ語、アラビア語、ターキッシュ語、ルーマニア語、スペイン語への精神保健情報の翻訳におけるGoogle翻訳のパフォーマンスを評価している。ネイティブスピーカーによる評価を通じて、特にアラビア語およびペルシャ語において、医学用語や書式の面で顕著な正確性と流暢さの問題が判明した。これは、多言語精神保健コミュニケーションにおけるカスタム翻訳システムと人間によるレビューの必要性を強調するものである。

ABSTRACT

This study explores the use of Google Translate (GT) for translating mental healthcare (MHealth) information and evaluates its accuracy, comprehensibility, and implications for multilingual healthcare communication through analysing GT output in the MHealth domain from English to Persian, Arabic, Turkish, Romanian, and Spanish. Two datasets comprising MHealth information from the UK National Health Service website and information leaflets from The Royal College of Psychiatrists were used. Native speakers of the target languages manually assessed the GT translations, focusing on medical terminology accuracy, comprehensibility, and critical syntactic/semantic errors. GT output analysis revealed challenges in accurately translating medical terminology, particularly in Arabic, Romanian, and Persian. Fluency issues were prevalent across various languages, affecting comprehension, mainly in Arabic and Spanish. Critical errors arose in specific contexts, such as bullet-point formatting, specifically in Persian, Turkish, and Romanian. Although improvements are seen in longer-text translations, there remains a need to enhance accuracy in medical and mental health terminology and fluency, whilst also addressing formatting issues for a more seamless user experience. The findings highlight the need to use customised translation engines for Mhealth translation and the challenges when relying solely on machine-translated medical content, emphasising the crucial role of human reviewers in multilingual healthcare communication.

研究の動機と目的

• 英語からペルシャ語、アラビア語、ターキッシュ語、ルーマニア語、スペイン語の5か国語への精神保健情報の翻訳におけるGoogle翻訳の正確性と理解可能性を評価すること。
• 機械翻訳された精神保健コンテンツにおける医学用語、文法構造、意味的正確性、書式の面での重大な誤りを特定すること。
• 臨床および公衆衛生の現場において、多言語精神保健コミュニケーションにGoogle翻訳に依存することの影響を評価すること。
• 高リスクの医療文脈におけるオフザシェルフの機械翻訳の限界を強調し、カスタム翻訳ソリューションの導入を提言すること。
• 安全で効果的な多言語精神保健コミュニケーションを実現するための人間のレビュアーの不可欠な役割を強調すること。

提案手法

• 英国国立保健サービスおよびロイヤル・カレッジ・オブ・Psychiatristsの精神保健情報の2つのデータセットを収集した。
• Google翻訳を用いて、英語からペルシャ語、アラビア語、ターキッシュ語、ルーマニア語、スペイン語への翻訳を生成した。
• 各ターゲット言語のネイティブスピーカーが、正確性、流暢さ、重大な誤りの有無について翻訳を手動で評価した。
• 評価は、医学用語、文法的・意味的正確性、および書式の一貫性（特に箇条書きのフォーマット）に焦点を当てた。
• 誤りの種別は語彙的、文法的、意味的、書式関連に分類され、臨床的リスクへの影響が特に強調された。
• 定量的および定性的分析を実施し、言語ごとのパフォーマンスを比較し、繰り返し発生する問題を同定した。

実験結果

リサーチクエスチョン

• RQ1 Google翻訳は、5か国語における精神保健用語の翻訳においてどの程度正確か？
• RQ2 Google翻訳の出力における流暢さや文法的問題が、精神保健情報の理解可能性にどの程度影響を及えるか？
• RQ3 書式や臨床的意味の面で、機械翻訳された精神保健コンテンツに頻発する重大な誤りの種類は何か？
• RQ4 ペルシャ語、アラビア語、ターキッシュ語、ルーマニア語、スペイン語の間で、翻訳品質の差異はどのように変動するか？
• RQ5 実際の臨床および公衆衛生現場における多言語精神保健コミュニケーションにGoogle翻訳を使用する場合の影響は何か？

主な発見

• Google翻訳は、特にアラビア語、ルーマニア語、ペルシャ語において、医学用語の翻訳に顕著な課題を示し、語彙的および意味的誤りの発生率が高かった。
• 流暢さの問題は全言語に広がっており、特にアラビア語およびスペイン語で顕著で、正しい用語であっても理解が妨げられることがあった。
• 箇条書きの書式に起因する重大な誤りが頻発し、特にペルシャ語、ターキッシュ語、ルーマニア語で情報の階層構造と明確性が損なわれた。
• 長文の翻訳では流暢さに多少の改善が見られたが、医学用語の正確性は一貫せず、臨床的に懸念される結果となった。
• 本研究では、人間による監修なしでは、Google翻訳のようなオフザシェルフの機械翻訳システムが、安全で信頼性のある精神保健コミュニケーションには不十分であると判明した。
• 結果から、ドメイン特化型でカスタム化された翻訳エンジンと、多言語精神保健コンテンツ配信における必須の人間レビューの導入が、緊急に求められていることが示された。