[論文レビュー] DeID-GPT: Zero-shot Medical Text De-Identification by GPT-4

Zhengliang Liu, Huang, Yue+16 more|arXiv (Cornell University)|Mar 20, 2023

Topic Modeling被引用数 89

ひとこと要約

論文は DeID-GPT を提案する。GPT-4/ChatGPT ベースのゼロショットフレームワークで、PROMPT に HIPAA 識別子を埋め込み、メモの加工を行いPHIを赤字化してテキストの意味を保持する自由記述医療ノートの匿名化を自動化する。i2b2/UTHealth の匿名化データセットで評価し、PROMPT設計が性能の鍵となる点を強調する。

ABSTRACT

The digitization of healthcare has facilitated the sharing and re-using of medical data but has also raised concerns about confidentiality and privacy. HIPAA (Health Insurance Portability and Accountability Act) mandates removing re-identifying information before the dissemination of medical records. Thus, effective and efficient solutions for de-identifying medical data, especially those in free-text forms, are highly needed. While various computer-assisted de-identification methods, including both rule-based and learning-based, have been developed and used in prior practice, such solutions still lack generalizability or need to be fine-tuned according to different scenarios, significantly imposing restrictions in wider use. The advancement of large language models (LLM), such as ChatGPT and GPT-4, have shown great potential in processing text data in the medical domain with zero-shot in-context learning, especially in the task of privacy protection, as these models can identify confidential information by their powerful named entity recognition (NER) capability. In this work, we developed a novel GPT4-enabled de-identification framework (``DeID-GPT") to automatically identify and remove the identifying information. Compared to existing commonly used medical text data de-identification methods, our developed DeID-GPT showed the highest accuracy and remarkable reliability in masking private information from the unstructured medical text while preserving the original structure and meaning of the text. This study is one of the earliest to utilize ChatGPT and GPT-4 for medical text data processing and de-identification, which provides insights for further research and solution development on the use of LLMs such as ChatGPT/GPT-4 in healthcare. Codes and benchmarking data information are available at https://github.com/yhydhx/ChatGPT-API.

研究の動機と目的

• 自由記述医療データの identifying 情報を除去して HIPAA に準拠した共有を促進する。
• fine-tuning なしで GPT-4/ChatGPT のゼロショットインコンテキスト学習を活用して臨床ノートのPHIを識別・赤字化する。
• HIPAA識別子を統合した高品質のプロンプトを設計し、テキストの意味を保持しつつ匿名化を導く。

提案手法

• PROMPT に HIPAA 識別子を埋め込み、匿名化タスクを指定するゼロショットフレームワークで GPT-4/ChatGPT を使用する。
• 元の臨床ノートをプロンプトを通じて処理し、匿名化された出力を生成する。
• PROMPT 主導のワークフロー内で HIPAA カテゴリに従ってPHIをマッピング・赤字化する。
• 合成代替データを用いて 2014 年の i2b2/UTHealth 匿名化データセットで性能を評価する。
• 再現性のためのオープンソースコードとベンチマークデータを提供する。

実験結果

リサーチクエスチョン

• RQ1 Fine-tuning なしで GPT-4/ChatGPT が自由記述医療ノートの高精度匿名化を達成できるか？
• RQ2 PROMPT 設計と HIPAA 識別子の統合は匿名化性能にどう影響するか？
• RQ3 ゼロショット匿名化は臨床ノートの元の意味と構造をどれだけ良く保持するか？

主な発見

• DeID-GPT は、構造化されていない臨床テキストから個人情報をマスキングする際に、比較対象手法の中で最高の精度を達成している。
• ノートの元の構造と意味を保持しつつPHIを赤字化する。
• PROMPT設計、特にPROMPTへ HIPAA 識別子を組み込むことが性能の主な推進要因である。
• 本研究は医療テキスト処理と匿名化に ChatGPT/GPT-4 を適用した初期例の一つである。
• コードとベンチマークデータは再現性のために公開されている。