[論文レビュー] Towards the Creation of a Large Corpus of Synthetically-Identified Clinical Notes

Willie Boag, Tristan Naumann+1 more|arXiv (Cornell University)|Mar 7, 2018

Topic Modeling参考文献 4被引用数 7

ひとこと要約

本稿では、MIMIC-IIIデータセットから保護された健康情報（PHI）を現実的な代替物に置き換えることで、大規模な合成された脱識別化臨床ノートコーパスを提案する。この手法により、脱識別化モデルの安全な訓練が可能となる。評価の結果、訓練データ量の増加が再現率を顕著に向上させ、特に病院名において顕著な改善が見られた。これは、臨床NLPツールの発展に向けた大規模な合成データの価値を示している。

ABSTRACT

Clinical notes often describe the most important aspects of a patient's physiology and are therefore critical to medical research. However, these notes are typically inaccessible to researchers without prior removal of sensitive protected health information (PHI), a natural language processing (NLP) task referred to as deidentification. Tools to automatically de-identify clinical notes are needed but are difficult to create without access to those very same notes containing PHI. This work presents a first step toward creating a large synthetically-identified corpus of clinical notes and corresponding PHI annotations in order to facilitate the development de-identification tools. Further, one such tool is evaluated against this corpus in order to understand the advantages and shortcomings of this approach.

研究の動機と目的

• NLPモデルの訓練に向けた、公開可能で大規模な脱識別化臨床ノートの不足を解消すること。
• 脱識別化におけるデータ依存の悪循環を打開するため、現実的なPHI代替物を用いた合成コーパスを生成すること。
• ベースラインのCRFに基づく脱識別化システムを合成コーパス上で評価し、その性能と限界を検証すること。
• 公開可能で大容量の高品質なデータセットを提供することで、将来の強固でスケーラブルな脱識別化ツールの開発を可能にすること。
• 実際のPHIを含むデータに代わる、合成された脱識別化の実現可能性と品質を検討すること。

提案手法

• Neamatullahら[7]のルールベースの脱識別化システムを用いて、MIMIC-IIIノート内の実際のPHIを代替物に置き換えることで、合成コーパスを生成した。
• 現実性を確保するため、2005年米国国勢調査の頻度に基づいて代替名を選定し、米国の病院リストから均等に選出された病院名を用いた。
• 単語の存在、大文字・小文字、隣接語の文脈を特徴量として用い、条件付きランダムフィールド（CRF）モデルを訓練してPHI認識を実施した。
• 特別な開始・終了トークンを使用せずに、隣接する行を読み取ることで、変動するノート構造に対応する特徴量を設計した。
• 患者名および病院名のトークンレベルの正確性（precision）、再現率（recall）、F1スコアを評価指標として用い、モデルの性能を評価した。
• 訓練データ量の影響を評価するため、ノートファイルを順次追加することで、訓練データサイズを段階的に増加させた。

実験結果

リサーチクエスチョン

• RQ1 大規模な合成された脱識別化臨床ノートコーパスを、NLPモデル開発を支援する目的で効果的に作成できるか？
• RQ2 訓練データ量の増加が、脱識別化モデルの性能にどのように影響するか？
• RQ3 合成された脱識別化コーパスにおいて、正確性と再現率のトレードオフはどのようなものか？
• RQ4 合成データ生成が、脱識別化タスクの現実性と難易度にどの程度影響を与えるか？
• RQ5 CRFベースのモデルは大規模な合成コーパス上で高い性能を達成できるか？また、その性能は現実世界への一般化可能性を反映しているか？

主な発見

• 1,000件のファイルで訓練した結果、患者名の再現率は0.96、病院名は0.89に達し、より小さなデータセットに比べ顕著な向上が見られた。
• 患者名では0.92、病院名では0.95の高い正確性が、すべてのデータスケールで維持された。これは誤検出が少ないことを示している。
• 特に病院名において、訓練データ量の増加に伴い再現率が著しく向上した。これは、複雑なパターンを捉えるためにデータスケールが極めて重要であることを示している。
• 病院名の識別において、1,000件の訓練ファイルでF1スコアが0.92に達し、全体的な性能が優れていることが示された。
• 結果として、より大きな合成データセットを用いることで、正確性を損なわずに再現率が顕著に向上することが実証された。これは、脱識別化分野におけるスケールの価値を裏付けている。
• 代替物の多様性に限界はあったが、膨大な量のアノテーションが、希少または誤字のエンティティに関する問題を緩和するのに寄与した。