[論文レビュー] Towards more patient friendly clinical notes through language models and ontologies

Francesco Moramarco, Damir Jurić+9 more|arXiv (Cornell University)|Dec 23, 2021

Text Readability and Simplification被引用数 11

ひとこと要約

本論文は、医療フォーラムデータで微調整された言語モデルと、一般用語を含む包括的な医療オントロジーを活用した、臨床ノートを簡素化する画期的な手法を提案する。語の頻度と言語モデルの確率を統合したスコア関数を用いることで、文法的に正しい意味を保った簡素化が可能となり、人間評価において最先端のモデルを上回り、文法的正しさが75.4%、意味の保持率が93.4%を達成した。

ABSTRACT

Clinical notes are an efficient way to record patient information but are notoriously hard to decipher for non-experts. Automatically simplifying medical text can empower patients with valuable information about their health, while saving clinicians time. We present a novel approach to automated simplification of medical text based on word frequencies and language modelling, grounded on medical ontologies enriched with layman terms. We release a new dataset of pairs of publicly available medical sentences and a version of them simplified by clinicians. Also, we define a novel text simplification metric and evaluation framework, which we use to conduct a large-scale human evaluation of our method against the state of the art. Our method based on a language model trained on medical forum data generates simpler sentences while preserving both grammar and the original meaning, surpassing the current state of the art.

研究の動機と目的

• 患者が理解しやすい臨床ノートを自動的に簡素化することで、複雑な医学用語の可読性を向上させること。
• 臨床的テキスト簡素化の評価に用いる高品質で公開可能なデータセットの不足を解消すること。
• 表面的な指標ではなく、文法的正しさと意味の保持を重視した堅牢な評価フレームワークの構築。
• 医療的正確性を維持しながら読みやすさを向上させる、スケーラブルでオントロジーに根ざした簡素化手法の開発。
• 実世界の医療ディス course を学習データとして用いた言語モデルが、ルールベースやテンプレート駆動のアプローチを上回ることの実証。

提案手法

• SNOMED-CT およびその他のソースから得た、複雑な用語の一般用語相当語を含む医療オントロジーを用いる。
• 語の頻度と言語モデルの確率を統合した新しいスコア関数を提案し、候補となる簡素化の順位付けに用いる。
• 匿名化された医療フォーラムデータで微調整された左から右への無制限言語モデル（GPT-1）を用い、文脈に適した滑らかな簡素化を生成する。
• 反復的な簡素化処理を実行し、各段階でスコア関数を適用して最適な語の置換を選択する。
• 反復回数の制限とループ検出により収束を保証し、特に文長が増加傾向にあるGPT-2のようなモデルに対しても対処する。
• 言語学者と臨床医による人間評価フレームワークを用い、1,250件のサンプルからなるテストセットで文法的正しさと意味の保持を評価する。

実験結果

リサーチクエスチョン

• RQ1 医療フォーラムデータで微調整された言語モデルは、意味を保持しながら、より簡潔で読みやすい臨床ノートを生成できるか？
• RQ2 語の頻度と言語モデルの確率を組み合わせることで、ルールベースやフレーズテーブル手法に比べて、簡素化の質がどのように向上するか？
• RQ3 異なるモデルが、臨床的テキスト簡素化において文法的正しさと意味的正確性をどの程度保持できるか？
• RQ4 言語学者による人間アノテーションに基づく独自の評価フレームワークは、BLEU や SARI といった標準的な自動指標を上回るか？
• RQ5 一般用語を含む医療オントロジーを効果的に活用することで、臨床的正確性を損なわず簡素化を改善できるか？

主な発見

• 提案手法は、人間がアノテートしたテストセットにおいて、文法的正しさ（G1）が75.4%、意味の保持率が93.4%を達成し、すべてのベースラインを上回った。
• 左から右への言語モデル（GPT-1）は、医療フォーラムデータで微調整された結果、人間評価で最高の質の簡素化を生成した。
• NTSベースラインは高いBLEUスコアを示したが、36.9%のケースで意味を保持できず、自動指標の限界を示した。
• 本手法は重大な文法的誤りを6.8%まで低減（NTSの15%対比）し、言語モデルのガイダンスの有効性を実証した。
• 収束制御により、GPT-2を除くすべてのモデルで簡素化の質が向上したが、GPT-2は自己回帰的生成の特性により文長が増加する傾向を示した。
• 臨床医が検証済みの1,250件の臨床ノート簡素化データセットの公開により、分野における重要な空白が埋まった。