[論文レビュー] Toward Improving Health Literacy in Patient Education Materials with Neural Machine Translation Models

David Oniani, Sreekanth Sreekumar+7 more|PubMed|Sep 14, 2022

Health Literacy and Information Accessibility参考文献 27被引用数 9

ひとこと要約

本研究では、患者教育資料における複雑な健康言語を自動的に簡素化するために、ニューラル機械翻訳（NMT）モデルの使用を提案している。BiLSTMベースのNMTモデルは、文盲な医学用語を一般語に置き換える点で、BERTベースのモデルを上回ったが、流暢さ、読みやすさ、医学用語の翻訳に関する問題は依然として残存している。

ABSTRACT

Health literacy is the central focus of Healthy People 2030, the fifth iteration of the U.S. national goals and objectives. People with low health literacy usually have trouble understanding health information, following post-visit instructions, and using prescriptions, which results in worse health outcomes and serious health disparities. In this study, we propose to leverage natural language processing techniques to improve health literacy in patient education materials by automatically translating illiterate languages in a given sentence. We scraped patient education materials from four online health information websites: MedlinePlus.gov, Drugs.com, Mayoclinic.org and Reddit.com. We trained and tested the state-of-the-art neural machine translation (NMT) models on a silver standard training dataset and a gold standard testing dataset, respectively. The experimental results showed that the Bidirectional Long Short-Term Memory (BiLSTM) NMT model outperformed Bidirectional Encoder Representations from Transformers (BERT)-based NMT models. We also verified the effectiveness of NMT models in translating health illiterate languages by comparing the ratio of health illiterate language in the sentence. The proposed NMT models were able to identify the correct complicated words and simplify into layman language while at the same time, the models suffer from sentence completeness, fluency, readability, and have difficulty in translating certain medical terms.

研究の動機と目的

• 患者教育資料における低健康リテラシーを是正することにより、健康Outcomeの悪化や健康格差を是正すること。
• 自然言語処理技術を用いて、複雑な医学用語を一般語に自動的に簡素化する手法を開発すること。
• ニューラル機械翻訳モデルが、文盲な医学用語を同定し、置換する有効性を評価すること。
• 特にBiLSTMおよびBERTベースのNMTアーキテクチャを比較し、健康リテラシー簡素化タスクにおける性能を評価すること。
• モデル出力が簡素化された健康コンテンツにおける文の完全性、流暢さ、読みやすさに与える影響を評価すること。

提案手法

• 研究者たちは、4つの主要な健康情報ウェブサイトから患者教育資料を収集し、トレーニングおよびテストデータセットを構築した。
• スクリーニングおよび前処理を施したオンラインソースからの患者教育コンテンツを基に、銀標準トレーニングデータセットを作成した。
• モデルの性能を評価するため、健康リテラシー簡素化タスクに特化したゴールドスタンダードテストデータセットを整備した。
• 本研究では、複雑な医学用語を簡潔な言語に翻訳するタスクに対して、最先端のNMTモデル（BiLSTMおよびBERTベースのアーキテクチャを含む）をトレーニングおよび評価した。
• モデルの性能は、文盲用語の同定精度、流暢さ、読みやすさなどの指標を用いて評価され、出力品質の手動検証が実施された。

実験結果

リサーチクエスチョン

• RQ1 ニューラル機械翻訳モデルは、患者教育資料における複雑な医学用語を、より簡潔な一般語に効果的に同定および置換できるか？
• RQ2 BiLSTMベースのNMTモデルは、BERTベースのNMTモデルと比較して、健康リテラシー簡素化コンテンツの処理においてどのように異なるか？
• RQ3 NMTモデルは、医学テキストの簡素化過程において、文の完全性と流暢さをどの程度維持できるか？
• RQ4 NMTモデルは、希少または高度に専門的な医学用語を翻訳する際に、どのような課題に直面するか？
• RQ5 簡素化語の割合と元の複雑な語の割合の比は、全体の読みやすさおよび理解度とどの程度相関するか？

主な発見

• BiLSTMベースのNMTモデルは、特に複雑な医学用語の同定および置換において、BERTベースのモデルを上回った。
• NMTモデルは、文に含まれる文盲語の割合を著しく低減し、複雑な用語の簡素化が効果的に行われたことを示した。
• 改善が見られたものの、簡素化後の文の流暢さと完全性を維持する点で、モデルは困難を抱えていた。
• 特定の希少または高度に専門的な医学用語の翻訳において、モデルは顕著な困難を示した。
• 本研究では、NMTを用いた自動簡素化が健康リテラシーの障壁を軽減できることを確認したが、読みやすさと流暢さを向上させるためのさらなる精錬が必要であるとされた。