[논문 리뷰] Toward Improving Health Literacy in Patient Education Materials with Neural Machine Translation Models

David Oniani, Sreekanth Sreekumar외 7명|PubMed|2022. 09. 14.

Health Literacy and Information Accessibility참고 문헌 27인용 수 9

한 줄 요약

이 연구는 환자 교육 자료의 복잡한 건강 언어를 자동으로 단순화하여 건강 역량을 향상시키기 위해 신경 기계 번역(NMT) 모델을 사용할 것을 제안한다. BiLSTM 기반 NMT 모델은 어려운 의학 용어를 평범한 언어로 대체하는 데 BERT 기반 모델보다 뛰어난 성능을 보였지만, 유창성, 난이도 및 의학 용어 번역 문제는 여전히 남아 있다.

ABSTRACT

Health literacy is the central focus of Healthy People 2030, the fifth iteration of the U.S. national goals and objectives. People with low health literacy usually have trouble understanding health information, following post-visit instructions, and using prescriptions, which results in worse health outcomes and serious health disparities. In this study, we propose to leverage natural language processing techniques to improve health literacy in patient education materials by automatically translating illiterate languages in a given sentence. We scraped patient education materials from four online health information websites: MedlinePlus.gov, Drugs.com, Mayoclinic.org and Reddit.com. We trained and tested the state-of-the-art neural machine translation (NMT) models on a silver standard training dataset and a gold standard testing dataset, respectively. The experimental results showed that the Bidirectional Long Short-Term Memory (BiLSTM) NMT model outperformed Bidirectional Encoder Representations from Transformers (BERT)-based NMT models. We also verified the effectiveness of NMT models in translating health illiterate languages by comparing the ratio of health illiterate language in the sentence. The proposed NMT models were able to identify the correct complicated words and simplify into layman language while at the same time, the models suffer from sentence completeness, fluency, readability, and have difficulty in translating certain medical terms.

연구 동기 및 목표

• 환자 교육 자료에서 낮은 건강 역량이 악화된 건강 결과와 건강 격차를 초래하므로 이를 해결하기 위해.
• NLP 기법을 활용해 복잡한 의학적 언어를 평범한 언어로 자동 단순화하는 방법을 개발하기 위해.
• 신경 기계 번역 모델이 비전문가용 의학 용어를 식별하고 교체하는 데 얼마나 효과적인지 평가하기 위해.
• 특히 BiLSTM 및 BERT 기반 모델과 같은 다양한 NMT 아키텍처의 건강 역량 단순화 성능을 비교하기 위해.
• 모델 출력물이 단순화된 건강 콘텐츠에서 문장의 완전성, 유창성 및 가독성에 어떤 영향을 미치는지 평가하기 위해.

제안 방법

• 연구진은 주요 건강 정보 웹사이트 4곳에서 환자 교육 자료를 수집하여 학습 및 테스트 데이터셋을 구성했다.
• 은은한 표준 학습 데이터셋은 온라인 자료에서 콘텐츠를 크롤링하고 전처리하여 구축했다.
• 황금 표준 테스트 데이터셋은 건강 역량 단순화 작업에 대한 모델 성능 평가를 위해 정제되었다.
• 이 연구는 복잡한 의학 용어를 더 단순한 언어로 번역하는 작업에 대해 최신의 NMT 모델, 즉 BiLSTM 및 BERT 기반 아키텍처를 훈련하고 평가했다.
• 모델 성능은 어려운 용어 식별 정확도, 유창성 및 가독성 등의 지표를 사용해 평가되었으며, 출력 품질의 수동 검증이 수행되었다.

실험 결과

연구 질문

• RQ1 신경 기계 번역 모델은 환자 교육 자료에서 복잡한 의학 용어를 더 단순하고 평범한 언어로 효과적으로 식별하고 교체할 수 있는가?
• RQ2 BiLSTM 기반 NMT 모델은 BERT 기반 NMT 모델보다 건강 역량 단순화 콘텐츠에서 어떻게 다를까?
• RQ3 의료 텍스트 단순화 과정에서 NMT 모델은 문장의 완전성과 유창성을 어느 정도 유지하는가?
• RQ4 희귀하거나 매우 전문적인 의학 용어를 번역할 때 NMT 모델이 겪는 과제는 무엇인가?
• RQ5 단순화된 용어 비율과 원래의 복잡한 용어 비율 간의 비율은 전체적인 가독성과 이해도와 어떤 관련이 있는가?

주요 결과

• BiLSTM 기반 NMT 모델은 복잡한 의학 용어를 식별하고 교체하는 데 있어 BERT 기반 모델보다 뛰어난 성능을 보였다.
• NMT 모델들은 문장 내 비전문가용 언어의 비율을 감소시켜 복잡한 용어의 효과적인 단순화를 보였다.
• 개선된 성능에도 불구하고, 모델들은 단순화 후 문장의 유창성과 완전성을 유지하는 데 어려움을 겪었다.
• 일부 희귀하거나 매우 전문적인 의학 용어의 정확한 번역에서 모델들이 뚜렷한 어려움을 겪었다.
• 자동 단순화를 통해 NMT를 사용하면 건강 역량 장벽을 줄일 수 있음을 확인했지만, 가독성과 유창성을 향상시키기 위해 추가 보완이 필요하다.