[論文レビュー] Conceptualizing Machine Learning for Dynamic Information Retrieval of Electronic Health Record Notes

Sharon Jiang, Shannon Shen+6 more|arXiv (Cornell University)|Aug 9, 2023

Electronic Health Records SystemsHealth Professions被引用数 3

ひとこと要約

本論文では、緊急治療科のノート作成セッション中に、EHR監査ログを用いて動的に関連する臨床ノートを取得する機械学習フレームワークを提案している。臨床医がどのノートを読むかを予測する際、AUCは0.963を達成した。このシステムは、リアルタイムの臨床的文脈を活用して、患者の重要な情報を事前に提示することで、文書作成の時間を短縮し、臨床的効率を向上させた。

ABSTRACT

The large amount of time clinicians spend sifting through patient notes and documenting in electronic health records (EHRs) is a leading cause of clinician burnout. By proactively and dynamically retrieving relevant notes during the documentation process, we can reduce the effort required to find relevant patient history. In this work, we conceptualize the use of EHR audit logs for machine learning as a source of supervision of note relevance in a specific clinical context, at a particular point in time. Our evaluation focuses on the dynamic retrieval in the emergency department, a high acuity setting with unique patterns of information retrieval and note writing. We show that our methods can achieve an AUC of 0.963 for predicting which notes will be read in an individual note writing session. We additionally conduct a user study with several clinicians and find that our framework can help clinicians retrieve relevant information more efficiently. Demonstrating that our framework and methods can perform well in this demanding setting is a promising proof of concept that they will translate to other clinical settings and data modalities (e.g., labs, medications, imaging).

研究の動機と目的

• 時間のかかるEHRナビゲーションと文書作成による臨床医の燃え尽きを軽減するため、関連する患者の履歴を取得する作業負荷を低減すること。
• 細分化された監査ログデータを用いて、緊急治療科におけるノート作成中の臨床医の動的で時間的に変化する情報ニーズを同定すること。
• 文書作成中の変化する臨床的文脈に基づいて、非構造化されたEHRノートを事前に取得する機械学習フレームワークを開発すること。
• 実際の臨床医によるユーザー調査を含む定量的モデリングと併せて、フレームワークの予測性能と臨床的有用性を評価すること。

提案手法

• 緊急治療科の個々のノート作成セッション中に、どのノートが閲覧されたかを特定することで、EHR監査ログから教師信号を抽出する。
• ノートの関連性予測を、ある特定の文書作成セッション中にノートが閲覧されるかどうかを予測する二値分類タスクとして定式化する。
• 臨床的文脈（例：作成中のノート）およびノートの内容（例：ノートテキストの埋め込み表現）から得られる特徴量を用いて機械学習モデルを学習する。
• BERT や ClinicalBERT などの事前学習済み言語モデルを用い、現在の臨床的文脈とノート内容との間の複雑な意味的関係を捉える。
• 予測された関連性に基づいて候補ノートを動的にランク付けし、臨床医の文書作成の文脈が変化するにつれて、提示内容を更新する。
• 臨床医を対象にユーザー調査を実施し、システムが情報取得の効率性および臨床意思決定支援に与える影響を評価する。

Figure 1: Illustration of the documentation process after a patient presents to ED. We show the written note in the ED Patient Note panel (left) as well as the corresponding timeline for the information retrieval and writing (right). When a patient presents to the ED, a team of doctors starts to sea

実験結果

リサーチクエスチョン

• RQ1 EHR監査ログは、緊急治療科のノート作成セッション中にどの非構造化臨床ノートが閲覧されるかを予測するモデルを学習するための信頼できる教師信号として機能するか？
• RQ2 緊急治療科の文書作成中に変化する臨床的文脈を考慮した場合、機械学習モデルはリアルタイムでノートの関連性をどれほど正確に予測できるか？
• RQ3 動的で文脈に適応したノートの取得は、患者ケア中の臨床医の効率性と情報へのアクセスをどの程度向上させるか？
• RQ4 臨床医は動的に取得されたノートとどのようにやり取りするか？また、提示された情報は実際の臨床ワークフローにおいてどの程度の臨床的有用性を持つのか？

主な発見

• 提案された機械学習モデルは、個々の緊急治療科のノート作成セッションにおいて、どのノートが閲覧されるかを予測する際、AUC 0.963を達成した。
• ユーザー調査において、臨床医はシステムがトップランク付けしたノートがあれば、4回中3回のケースで患者ケアを継続可能であると評価した。これは、予測の臨床的関連性が極めて高いことを示している。
• 評価された6件の訪問のうち5件において、モデルが予測した最も関連性の高いノートが実際に臨床医によって閲覧されており、関連性の高いノートおよび関連性の低いノートの大部分がトップ10の提案内に含まれていた。
• 臨床専門家は、異なるノートナビゲーション経路を経ても類似した臨床的結論に至った。これは、システムが多様なワークフローをサポートし、必要な情報を効率的に提示できることを示している。
• このフレームワークは、高負荷で時間的に敏感な環境でも優れた性能を示した。これは、他の臨床的環境やデータモダリティへの一般化可能性を示唆している。
• システムの動的で文脈に適応した情報取得は、情報収集の認知的負荷を軽減し、より迅速かつ効率的な文書作成を支援した。

Figure 2: Dataset construction for the dynamic information retrieval task. Given a previously written note, this dynamic information retrieval task focuses on proactively predicting which available source documents are relevant to inform the next written note. The yellow blocks represent successive