[論文レビュー] Validating transformers for redaction of text from electronic health records in real-world healthcare

Željko Kraljević, Anthony Shek+9 more|arXiv (Cornell University)|Oct 5, 2023

Electronic Health Records Systems被引用数 4

ひとこと要約

本論文では、実世界の医療環境における電子的健康記録（EHR）の脱識別化のための、ファインチューニングされたトランスフォーマー基盤モデルであるAnonCATを提案する。3つの英国病院の多様なEHRシステムから得た3,116件の手動アノテーション付きEHRを用いて訓練されたAnonCATは、すべての病院で高い再現率（0.99、0.99、0.96）を達成し、基盤モデルの局所的かつ継続的なファインチューニングが、正確で適応可能で保守可能な保護された健康情報（PHI）のマスキングを可能にすることを示している。

ABSTRACT

Protecting patient privacy in healthcare records is a top priority, and redaction is a commonly used method for obscuring directly identifiable information in text. Rule-based methods have been widely used, but their precision is often low causing over-redaction of text and frequently not being adaptable enough for non-standardised or unconventional structures of personal health information. Deep learning techniques have emerged as a promising solution, but implementing them in real-world environments poses challenges due to the differences in patient record structure and language across different departments, hospitals, and countries. In this study, we present AnonCAT, a transformer-based model and a blueprint on how deidentification models can be deployed in real-world healthcare. AnonCAT was trained through a process involving manually annotated redactions of real-world documents from three UK hospitals with different electronic health record systems and 3116 documents. The model achieved high performance in all three hospitals with a Recall of 0.99, 0.99 and 0.96. Our findings demonstrate the potential of deep learning techniques for improving the efficiency and accuracy of redaction in global healthcare data and highlight the importance of building workflows which not just use these models but are also able to continually fine-tune and audit the performance of these algorithms to ensure continuing effectiveness in real-world settings. This approach provides a blueprint for the real-world use of de-identifying algorithms through fine-tuning and localisation, the code together with tutorials is available on GitHub (https://github.com/CogStack/MedCAT).

研究の動機と目的

• 医療機関間で標準化されておらず多様で変化し続けるEHR構造に対応できないルールベースのマスキング手法の限界を解消すること。
• 特にトランスフォーマーを含むディープラーニングモデルが、異種のEHRシステムを有する実世界の臨床環境における脱識別化に実用的かつ効果的であるかを評価すること。
• 地域的なファインチューニングと継続的なパフォーマンス監査を可能にすることで、NLPモデルを医療現場に展開・保守するための実用的でスケーラブルなワークフローを構築すること。
• 臨床的に重要な情報の過剰マスキングを低減しつつ、脱識別化タスクにおける高い再現率を維持すること。
• 病院の情報ガバナンスワークフローにモデルのデプロイメントを統合し、追加の負担を最小限に抑えつつ、継続的なモデル改善を支援すること。

提案手法

• AnonCATは、名前エンティティ認識およびリンク（NER+L）を目的とした医療NLPツールキット「MedCAT」を基盤とし、検出されたPHIエンティティを置換または削除することで脱識別化に特化した。
• 3つの英国病院の異なるEHRシステムから得た3,116件の実際のEHR文書を用いて、14種類のPHIタイプ（名前、住所、NHS番号など）の手動アノテーションを用いてファインチューニングされた。
• 合意が得られなかった予測と人間のアノテーターの間の不一致を段階的に是正するための複数段階のアノテーションおよび検証プロセスが採用され、主に見逃されたPHIインスタンスに注目した。
• 標準的なNLP指標（精度、再現率、F1スコア）を用いて評価され、異なるPHIカテゴリごとにエンティティレベルおよびマージド指標が報告された。
• ゼロショットおよびフェイシュート設定でのテストが実施され、ファインチューニングなしで新たな病院のデータセット（KCHモデルがGSTTデータでテスト）および150～300ドキュメントでのファインチューニング後に評価された。
• 精度と再現率のバランスを図るためのバイアス戦略が検討され、GSTTデータセットを用いて2つのモデル（KCHデータでのみトレーニングされたAnonCATと、Philterをベースラインとして）でトレードオフ分析が実施された。

Figure 1: Sunburst hierarchical ontology structure of terms for redaction. Five broad terms serve as the primary child nodes to which more specific terms child nodes, e.g. postcode, were connected. The terminal leaf nodes were used to annotate documents with patient data terms. Non-healthcare identi

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマー基盤モデルは、分野特化データを最小限に抑えた状態で、多様な病院のEHRシステムにおいて高い再現率と精度を達成できるか？
• RQ2 150～300ドキュメントのフェイシュートファインチューニングは、事前学習済み基盤モデルを新たな医療機関のEHR構造および言語パターンに適応させるのにどの程度効果的か？
• RQ3 機関間でのデータドリフトおよび構造的変動が、事前学習済み脱識別化モデルのパフォーマンスに与える影響は何か？ また、その影響を緩和する方法は何か？
• RQ4 複雑な臨床テキストにおける高品質なPHIラベル付きデータセット作成において、モデル誤りの是正を段階的に行う反復的アノテーションプロセスは、二重アノテーションに比べてどの程度効率的か？
• RQ5 既存の病院情報ガバナンスワークフローは、継続的なモデル監査およびファインチューニングを支援するためにどの程度適合可能か？

主な発見

• AnonCATは3つの異なる病院データセットで再現率0.99、0.99、0.96を達成し、多様なEHRシステムおよび言語構造において高い有効性を示した。
• 150～300件の手動アノテーション付きドキュメントでのファインチューニングにより、新しいデータセットにおけるモデルパフォーマンスが顕著に向上し、ファインチューニングドキュメント数が増えるほど性能が向上した。
• アノテーションエラーの90％が、人間のアノテーターによるPHIの見逃しに起因しており、誤ラベル付けによるものではなかったため、困難な検出タスクでは二重アノテーションよりも、モデル支援の反復的検証がより効率的であることが示された。
• 最新鋭のオフザシェルフツール（Philter）ですら、新しいデータセットで再現率95％以上を達成するにはファインチューニングが必要であったため、地域的適応の必要性が強く裏付けられた。
• NHS番号（F1 = 0.83）や日付（F1 = 0.83）といった重要なエンティティにおいても、高いF1スコアを達成しており、強力な一般化能力を示した。
• 再現率を高めるようにモデルをバイアス化することで全体的なパフォーマンスが向上したが、精度が低下するという代償が伴ったため、臨床現場でのデプロイメントにあたっては、トレードオフの慎重な管理が不可欠であることが示された。

Figure 2: The experimental setup across sites for AnonCAT.