[논문 리뷰] Google Translate Error Analysis for Mental Healthcare Information: Evaluating Accuracy, Comprehensibility, and Implications for Multilingual Healthcare Communication

Jaleh Delfani, Constantin Orǎsan외 6명|arXiv (Cornell University)|2024. 02. 06.

Interpreting and Communication in HealthcareHealth Professions인용 수 3

한 줄 요약

이 연구는 영어에서 페르시아어, 아랍어, 터키어, 루마니아어, 스페인어로 정신건강 정보를 번역할 때 Google 번역의 성능을 평가한다. 원어민 평가를 통해 의료 용어와 서식에서 심각한 정확성과 유창성 문제를 확인했으며, 특히 아랍어와 페르시아어에서 두드러지게 나타나, 다국어 정신건강 커뮤니케이션 분야에서 맞춤형 번역 시스템과 인간 검토의 필요성을 강조한다.

ABSTRACT

This study explores the use of Google Translate (GT) for translating mental healthcare (MHealth) information and evaluates its accuracy, comprehensibility, and implications for multilingual healthcare communication through analysing GT output in the MHealth domain from English to Persian, Arabic, Turkish, Romanian, and Spanish. Two datasets comprising MHealth information from the UK National Health Service website and information leaflets from The Royal College of Psychiatrists were used. Native speakers of the target languages manually assessed the GT translations, focusing on medical terminology accuracy, comprehensibility, and critical syntactic/semantic errors. GT output analysis revealed challenges in accurately translating medical terminology, particularly in Arabic, Romanian, and Persian. Fluency issues were prevalent across various languages, affecting comprehension, mainly in Arabic and Spanish. Critical errors arose in specific contexts, such as bullet-point formatting, specifically in Persian, Turkish, and Romanian. Although improvements are seen in longer-text translations, there remains a need to enhance accuracy in medical and mental health terminology and fluency, whilst also addressing formatting issues for a more seamless user experience. The findings highlight the need to use customised translation engines for Mhealth translation and the challenges when relying solely on machine-translated medical content, emphasising the crucial role of human reviewers in multilingual healthcare communication.

연구 동기 및 목표

• 영어에서 페르시아어, 아랍어, 터키어, 루마니아어, 스페인어로의 정신건강 정보 번역에서 Google 번역의 정확성과 이해 가능성 평가
• 기계 번역된 정신건강 콘텐츠에서 의료 용어, 문법, 의미론, 서식 오류의 심각한 문제점 식별
• 임상 및 공중보건 현장에서 다국어 정신건강 커뮤니케이션에 Google 번역에 의존하는 것이 초래하는 영향 평가
• 고위험 의료 환경에서 표준 기계 번역의 한계를 강조하고, 맞춤형 번역 솔루션의 필요성을 주장
• 안전하고 효과적인 다국어 정신건강 커뮤니케이션을 확보하기 위해 인간 검토자의 핵심적 역할을 강조

제안 방법

• 영국 국립의료서비스와 라이얼 칼리지 오브(psychiatrists)의 정신건강 정보를 바탕으로 두 개의 데이터셋을 수집
• Google 번역을 사용해 영어에서 페르시아어, 아랍어, 터키어, 루마니아어, 스페인어로 번역 생성
• 각 목표 언어의 원어민이 번역의 정확성, 유창성, 심각한 오류 여부를 수동 평가
• 의료 용어, 문법적·의미적 정확성, 서식 일관성(특히 목록 형식)에 중점을 두고 평가 수행
• 오류 유형은 어휘적, 문법적, 의미론적, 서식 관련으로 분류하였으며, 임상적 안전성 영향에 중점을 두었다
• 언어 간 성능 비교 및 반복적인 문제점 식별을 위해 정량적 및 정성적 분석을 실시

실험 결과

연구 질문

• RQ1 Google 번역은 다섯 개의 목표 언어에서 정신건강 용어를 얼마나 정확하게 번역하는가?
• RQ2 Google 번역 출력에서의 유창성 및 문법 문제는 정신건강 정보의 이해 가능성에 얼마나 큰 영향을 미치는가?
• RQ3 기계 번역된 정신건강 콘텐츠에서 흔히 발생하는 심각한 오류(특히 서식이나 임상적 의미의 오류)는 어떤 유형인가?
• RQ4 페르시아어, 아랍어, 터키어, 루마니아어, 스페인어 간 번역 품질의 격차는 어떻게 다를까?
• RQ5 실제 임상 및 공중보건 현장에서 다국어 정신건강 커뮤니케이션에 Google 번역을 사용하는 것이 초래하는 영향은 무엇인가?

주요 결과

• Google 번역은 특히 아랍어, 루마니아어, 페르시아어에서 의료 용어 번역에 심각한 과제를 보였으며, 어휘적 및 의미론적 오류 비율이 높았다.
• 유창성 문제는 모든 언어에서 흔했지만, 아랍어와 스페인어에서 가장 심각했으며, 정확한 용어 사용에도 불구하고 이해도가 저하되었다.
• 목록 형식의 서식 오류가 자주 발생했고, 특히 페르시아어, 터키어, 루마니아어에서 정보의 계층 구조와 명확성이 손상되었다.
• 긴 문장 번역에서는 일부 유창성 향상을 보였지만, 의료 용어의 정확성은 여전히 일관되지 않으며 임상적으로 우려스러운 수준이었다.
• 이 연구는 표준 기계 번역 시스템인 Google 번역은 인간 감시 없이 안전하고 신뢰할 수 있는 정신건강 커뮤니케이션에 부적합하다고 밝혔다.
• 결과는 도메인 특화된 맞춤형 번역 엔진과 다국어 정신건강 콘텐츠 배포 시 반드시 필요한 인간 검토의 긴급한 필요성을 뒷받침한다.