[論文レビュー] Comparing Rule-based, Feature-based and Deep Neural Methods for De-identification of Dutch Medical Records

Jan Trienes, Dolf Trieschnigg+2 more|arXiv (Cornell University)|Jan 16, 2020

Topic Modeling参考文献 31被引用数 6

ひとこと要約

本研究では、3つの医療分野（高齢者ケア、精神ケア、障害者ケア）におけるオランダ語の医療記録に対して、ルールベース、特徴ベース、深層ニューラル手法の3つのアプローチを評価した。BiLSTM-CRFモデルは、クロスドメインおよびクロスリンガルな設定において、ルールベースおよびCRF手法を上回り、最小限の構成で優れた汎化性能を示した。特に限られたデータでも同様の結果を示したが、オランダ語に特化したルールベースシステムは、元のドメインを超えて一般化できなかった。

ABSTRACT

Unstructured information in electronic health records provide an invaluable resource for medical research. To protect the confidentiality of patients and to conform to privacy regulations, de-identification methods automatically remove personally identifying information from these medical records. However, due to the unavailability of labeled data, most existing research is constrained to English medical text and little is known about the generalizability of de-identification methods across languages and domains. In this study, we construct a varied dataset consisting of the medical records of 1260 patients by sampling data from 9 institutes and three domains of Dutch healthcare. We test the generalizability of three de-identification methods across languages and domains. Our experiments show that an existing rule-based method specifically developed for the Dutch language fails to generalize to this new data. Furthermore, a state-of-the-art neural architecture performs strongly across languages and domains, even with limited training data. Compared to feature-based and rule-based methods the neural method requires significantly less configuration effort and domain-knowledge. We make all code and pre-trained de-identification models available to the research community, allowing practitioners to apply them to their datasets and to enable future benchmarks.

研究の動機と目的

• オランダ語の医療分野および言語間で、脱識別化手法の汎化性能を評価すること。
• 既存のオランダ語脱識別化用のルールベースおよび特徴ベース手法が、新たなドメインやデータソースに一般化できるかどうかを評価すること。
• 限られたリソース環境下、オランダ語の医療テキストにおいて、最先端の深層ニューラルネットワークの性能を、低リソースかつクロスドメイン設定で調査すること。
• 今後のベンチマークおよびマルチリンガル・マルチドメイン脱識別化分野の研究を支援するため、公開可能なデータセットおよび事前学習済みモデルを提供すること。

提案手法

• 高齢者ケア、精神ケア、障害者ケアの3つのドメインにまたがる9か所の機関から、合計1,260件のオランダ語医療記録を収集した新しいデータセットを構築した。
• ヒーライ・ポリシー規格（HIPAA）で定義された18のカテゴリ（名前、日付、住所、電話番号など）に従って、個人を特定できる情報（PHI）をアノテートした。
• 3つの脱識別化手法を評価した：オランダ語精神科ノート専用のルールベースシステム（DEDUCE）、特徴ベースのCRFモデル、およびBiLSTM-CRFニューラルネットワーク。
• 各モデルを1つのドメインで学習し、残りの2つのドメインでテストする、クロスドメイン転移学習を実施した。
• 英語のデータセット（例：HUGO、i2b2）をベンチマークとして用い、言語間転送性を評価した。
• すべての手法および設定において、エンティティレベルの評価にマイクロ平均F1スコアを用いた。

Figure 2. Entity-level F1-score for varying training set sizes. The full training set (100%) consists of all training and validation sentences in NUT (34,714). The F1-score is measured on the test set. For each subset size, we draw 3 random samples and train/test each model 3 times. The lines show t

実験結果

リサーチクエスチョン

• RQ1 オランダ語精神科ノートに特化して設計されたルールベース脱識別システムは、他のオランダ語医療ドメインにも一般化可能か？
• RQ2 多様なオランダ語医療ドメインにおいて、特徴ベース手法と深層ニューラル手法の性能および構成作業量の違いは何か？
• RQ3 限られたデータで学習された事前学習済みBiLSTM-CRFモデルは、言語およびドメインをまたいでどの程度一般化可能か？
• RQ4 ドメイン内とドメイン外の脱識別化の性能差はどの程度で、これは各手法によってどのように異なるか？

主な発見

• オランダ語精神科ノート専用に設計されたルールベースシステム DEDUCE は、高齢者ケアで0.683 F1、障害者ケアで0.565 F1にとどまり、ドメイン間での一般化性能が著しく低いことが示された。
• 特徴ベースのCRF手法は中程度の性能を示し、ドメイン間でF1スコアが0.414から0.719の間で変動し、ドメインシフトに対しては限られた耐性を示した。
• BiLSTM-CRFモデルは、すべてのドメインで最高の性能を示し、高齢者ケアで0.775、障害者ケアで0.775、精神ケアで0.839のF1スコアを達成した。これは、優れた汎化性能を示している。
• クロスドメイン転移学習において、BiLSTM-CRFモデルはドメイン内からドメイン外に移行した際、最大でF1スコアが0.221低下（0.919から0.698）したが、これは性能低下が依然として懸念事項であることを示している。
• 訓練データが限られた（ドメインあたり420件）にもかかわらず、BiLSTM-CRFモデルは高い性能を維持した。これは、データおよび構成要件が低いことを示している。
• 本研究では、職業や類似表現が、脱識別化において依然として最も困難なPHIタイプであることが明らかになった。これは、より優れたモデリング戦略の必要性を示唆している。