[論文レビュー] A survey of automatic de-identification of longitudinal clinical narratives

Vithya Yogarajan, Michael Mayo+1 more|arXiv (Cornell University)|Oct 15, 2018

Machine Learning in Healthcare被引用数 8

ひとこと要約

本サーベイは、縦断的臨床ナラティブにおける自動脱識別化システムの進化を分析し、ルールベースおよびCRFオンリーのモデルからハイブリッドおよびディープラーニングアプローチへの移行をたどる。主なコンペティション（2014 i2b2 UTHealth、2016 CEGS N-GRID）における性能を評価し、データセット間での適応性の限界を指摘し、より単純で再現可能かつ転送可能なシステムの構築を提言することで、ベンチマークデータを超えた耐性および一般化性能の向上を目指す。

ABSTRACT

Use of medical data, also known as electronic health records, in research helps develop and advance medical science. However, protecting patient confidentiality and identity while using medical data for analysis is crucial. Medical data can be in the form of tabular structures (i.e. tables), free-form narratives, and images. This study focuses on medical data in the free form longitudinal text. De-identification of electronic health records provides the opportunity to use such data for research without it affecting patient privacy, and avoids the need for individual patient consent. In recent years there is increasing interest in developing an accurate, robust and adaptable automatic de-identification system for electronic health records. This is mainly due to the dilemma between the availability of an abundance of health data, and the inability to use such data in research due to legal and ethical restrictions. De-identification tracks in competitions such as the 2014 i2b2 UTHealth and the 2016 CEGS N-GRID shared tasks have provided a great platform to advance this area. The primary reasons for this include the open source nature of the dataset and the fact that raw psychiatric data were used for 2016 competitions. This study focuses on noticeable trend changes in the techniques used in the development of automatic de-identification for longitudinal clinical narratives. More specifically, the shift from using conditional random fields (CRF) based systems only or rules (regular expressions, dictionary or combinations) based systems only, to hybrid models (combining CRF and rules), and more recently to deep learning based systems. We review the literature and results that arose from the 2014 and the 2016 competitions and discuss the outcomes of these systems. We also provide a list of research questions that emerged from this survey.

研究の動機と目的

• 縦断的臨床ナラティブのための自動脱識別化システムの技術的進化を分析すること。
• 主な共有タスク（2014 i2b2 UTHealthおよび2016 CEGS N-GRIDコンペティション）におけるシステムの性能と適応性を評価すること。
• 多様なEHRデータセットにおける一般化、再現可能性、および希少語または未知語彙のPHIの取り扱いにおける継続的な課題を特定すること。
• システムの耐性、転送性、HIPAA基準への準拠を向上させるための主要な研究課題を提起すること。

提案手法

• 2014 i2b2 UTHealthおよび2016 CEGS N-GRIDの共有タスクに関する文献およびコンペティション結果の体系的レビュー。
• ルールベースシステム（正規表現、辞書）、CRFモデル、ハイブリッドCRF-ルールシステム、およびディープラーニングモデル（例：LSTM）を含む脱識別化技術の分析。
• PHIカテゴリ（例：名前、日付、場所）ごとの性能評価およびデータセットシフトの影響の評価、特に2016年のコンペティションのトラック1Aにおける分析。
• 法的文書や検索ログなどの低感受性ドメインからのデータを用いたトランスファーラーニングの可能性の評価により、医療テキストにおける一般化性能の向上を検討。
• 手動によるルール設計の役割と、新しいデータセットへの適応におけるその限界の検証。
• ワードエムbeddingsおよび意味モデリングが、希少なPHIインスタンスを捉える上で文法的またはルールベースのアプローチよりも優れている要因の調査。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドシステムが最適なアプローチであるのか、それともLSTMのようなエンドツーエンドの機械学習モデルがデータセット間でより優れた性能を発揮し、一般化能力に優れるのか？
• RQ2 PHI検出のためのルールや正規表現を、手動で作成するのではなく、データから自動的に学習することは可能か？
• RQ3 低頻度トレーニング以外に、PROFESSIONやLOCATIONなどのPHIタイプでF-measureが低くなる要因として何が挙げられるか？
• RQ4 法的ドメインや検索ログなどの非医療ドメインからのトランスファーラーニングは、新しいEHRデータへの脱識別化システムの適応性を向上させ得るか？
• RQ5 複雑で再現不能なモデルではなく、より単純で再現性の高いシステムでさえも、競争的な性能を達成可能か？

主な発見

• ルールベースおよびCRFオンリーのシステムからハイブリッドおよびディープラーニングモデルへの移行により、精度は段階的に向上したが、その向上は限定的で、しばしば再現不可能である。
• 特に手動で作成されたルールに依存する多くのシステムは、新しいデータセットへの一般化に失敗しており、2016年のトラック1Aコンペティションで未観測データに対して劣悪な性能を示した。
• 2016年のトラック1Aデータセットでは、平均的な性能を達成したシステムは少数にとどまり、異なるEHRソース間での顕著な適応性の欠如が示された。
• 2014年のデータで学習したシステムは、コンペティション後に以前は低性能だったPHIタイプで性能が向上したことが確認され、反復的フィードバックとモデルチューニングの可能性が示唆された。
• ワードエムベッドや意味モデリングの活用は、訓練データが限られる状況でも、構文的またはルールベースのアプローチよりも希少なPHIインスタンスをよりよく捉える可能性がある。
• 進展は見られるものの、18のHIPAA PHIカテゴリすべてで95％の準拠を達成するシステムは存在せず、包括的な脱識別化における継続的な課題が浮き彫りになった。