[論文レビュー] Extraction and Analysis of Clinically Important Follow-up Recommendations in a Large Radiology Dataset

Wilson Lau, Thomas H. Payne+2 more|arXiv (Cornell University)|May 14, 2019

Topic Modeling参考文献 22被引用数 11

ひとこと要約

本論文では、レントゲン画像報告書から臨床的に重要なフォローアップの助言——根拠、検査種別、期間——を自動で抽出する深層学習ベースの自然言語処理（NLP）手法を提示する。567件の報告書でアノテートされたコーパスで訓練されたモデルは、Fスコアが0.92（助言文）、0.84（期間）、0.73（検査）、0.65（根拠）を達成し、330万件を超える報告書に適用されてフォローアップ遵守状況の分析が行われた。

ABSTRACT

Communication of follow-up recommendations when abnormalities are identified on imaging studies is prone to error. In this paper, we present a natural language processing approach based on deep learning to automatically identify clinically important recommendations in radiology reports. Our approach first identifies the recommendation sentences and then extracts reason, test, and time frame of the identified recommendations. To train our extraction models, we created a corpus of 567 radiology reports annotated for recommendation information. Our extraction models achieved 0.92 f-score for recommendation sentence, 0.65 f-score for reason, 0.73 f-score for test, and 0.84 f-score for time frame. We applied the extraction models to a set of over 3.3 million radiology reports and analyzed the adherence of follow-up recommendations.

研究の動機と目的

• 放射線所見後のフォローアップ助言の伝達誤りのリスクを低減すること。
• レントゲン画像報告書におけるフォローアップ助言の主要な構成要素を同定・抽出する自動化手法を開発すること。
• NLPモデルのトレーニングおよび評価用に、567件のレントゲン画像報告書を専門家がアノテートした高品質なコーパスを作成すること。
• 330万件を超えるレントゲン画像報告書を対象として、フォローアップ助言の遵守状況を大規模に分析すること。

提案手法

• 2段階のディープラーニングパイプライン：まず助言を含む文を特定し、次に構造化された要素（根拠、検査種別、期間）を抽出する。
• BERTベースのアーキテクチャを含む系列ラベル付けモデルを活用し、助言要素を一括して抽出する。
• レントゲン画像報告書の内容に関する助言をドメインエキスパートがアノテートしたゴールドスタンダードデータセットを構築。
• Fスコアを主な指標として複数の抽出タスクにおいてモデルのトレーニングと評価を実施。
• 実世界の330万件のレントゲン画像報告書データセットにトレーニング済みモデルを適用し、臨床的遵守パターンの評価を実施。

実験結果

リサーチクエスチョン

• RQ1 NLPモデルは、レントゲン画像報告書内のフォローアップ助言を含む文をどれほど正確に特定できるか？
• RQ2 NLPモデルは、フォローアップ助言の特定要素——根拠、検査種別、期間——をどれほど正確に抽出できるか？
• RQ3 大規模なレントゲン画像データセットにおいて、フォローアップ助言はどれほど一般的に見られ、遵守に関するどのようなパターンが存在するか？
• RQ4 レントゲン画像報告書内の臨床的助言は、確立されたフォローアッププロトコルとどの程度整合しているか？
• RQ5 フォローアップ助言の自動抽出は、品質向上および患者安全イニシアチブを支援できるか？

主な発見

• 助言文の特定においてFスコア0.92を達成し、臨床的に関連する助言を検出する能力が優れていることが示された。
• フォローアップ助言の期間抽出においてFスコア0.84を達成し、時間的情報抽出の高精度性が裏付けられた。
• 検査種別の抽出ではFスコア0.73を達成し、推奨される画像診断モality や手技を識別する能力が安定していることが示された。
• 根拠抽出のFスコアが最低の0.65であり、臨床的根拠を特定する部分のさらなる最適化が求められることが示された。
• 330万件の報告書への応用により、フォローアップ遵守状況の大規模分析が可能となり、臨床ワークフローのパターンやケアのギャップが明らかになった。