[論文レビュー] Feature-Augmented Neural Networks for Patient Note De-identification

Ji Young Lee, Franck Dernoncourt+2 more|arXiv (Cornell University)|Oct 30, 2016

Machine Learning in Healthcare参考文献 17被引用数 3

ひとこと要約

本稿では、LSTMと文字埋め込みに基づく既存の系列ラベル付けモデルに、人間が設計した特徴量とEHR由来の特徴量を統合することで、患者メモの脱識別化を目的とした特徴量拡張型ニューラルネットワークを提案する。特に患者名や医師名といったEHR由来の特徴量の追加により、患者名など感受性の高いPIIタイプの再現率が顕著に向上し、99.27%の再現率を達成した。これは、最先端の性能向上を示す重要な進展である。

ABSTRACT

Patient notes contain a wealth of information of potentially great interest to medical investigators. However, to protect patients' privacy, Protected Health Information (PHI) must be removed from the patient notes before they can be legally released, a process known as patient note de-identification. The main objective for a de-identification system is to have the highest possible recall. Recently, the first neural-network-based de-identification system has been proposed, yielding state-of-the-art results. Unlike other systems, it does not rely on human-engineered features, which allows it to be quickly deployed, but does not leverage knowledge from human experts or from electronic health records (EHRs). In this work, we explore a method to incorporate human-engineered features as well as features derived from EHRs to a neural-network-based de-identification system. Our results show that the addition of features, especially the EHR-derived features, further improves the state-of-the-art in patient note de-identification, including for some of the most sensitive PHI types such as patient names. Since in a real-life setting patient notes typically come with EHRs, we recommend developers of de-identification systems to leverage the information EHRs contain.

研究の動機と目的

• 神経ネットワークベースの患者メモ脱識別化システムの再現率を向上させること。これは、患者のプライバシー保護にとって極めて重要である。
• エンドツーエンドのニューラルモデルに人間が設計した特徴量とEHR由来の特徴量を統合することで、最先端の性能を超える性能向上が達成できるかどうかを調査すること。
• 実臨床環境における脱識別化精度に与える構造化EHRデータ（例：患者名や医師名）の影響を評価すること。
• 特に感受性の高いPIIタイプ、特に患者名の検出に特化して、特徴量統合が性能向上に寄与するかどうかを特定すること。
• 多様な特徴量タイプをニューラルモデルと組み合わせた際の、再現率と適合率のトレードオフを分析すること。

提案手法

• 本手法は、LSTMと文字強化トークン埋め込みに基づく先行研究のニューラルネットワークモデルを拡張し、各トークンに対してバイナリ特徴量を処理する全結合ニューラルネットワークを追加する。
• 特徴量には、日付や電話番号の正規表現などの人間が設計したパターンに加え、関連するEHRデータベースからの患者名や医師名といったEHR由来の特徴量が含まれる。
• 全結合ネットワークの出力を、入力層におけるトークン埋め込みと連結することで、モデルが生の埋め込みと設計された特徴量の両方から同時に学習できるようにする。
• モデルは、ラベル系列最適化層として条件付き確率場（CRF）を適用する共同学習目的関数を全層に適用する。
• ハイパーパramータは5回の交差検証を経て最適化され、バックプロパゲーションを用いてエンドツーエンドで学習される。
• 評価は標準的な脱識別化データセットを用い、PIIタイプごとに適合率、再現率、F1スコアで性能を測定する。

実験結果

リサーチクエスチョン

• RQ1 患者名や医師名などのEHR由来特徴量の統合が、ニューラルネットワークベースの脱識別化システムの再現率を向上させられるか。
• RQ2 人間が設計した特徴量を追加することで、特に希少または複雑なPIIタイプにおいてニューラルモデルの性能が低下するか、向上するか。
• RQ3 特徴量統合モデルの性能が、特徴量なしのベースラインニューラルモデルと比較して、さまざまなPIIタイプにおいてどのように異なるか。
• RQ4 すべての特徴量を統合すると、適合率は向上するが再現率が低下する場合があるのはなぜか。また、不適切に形式化されたPIIインスタンスに対してモデルが感受性を示す理由は何か。
• RQ5 実臨床環境での展開において、構造化されたEHRデータをどれほど活用して脱識別化を強化できるか。

主な発見

• EHR由来特徴量のみを用いたモデルは、12種類のPIIタイプのうち6つで最高の再現率を達成し、特に患者名では99.14%、医師名では98.48%の再現率を記録した。
• EHR由来特徴量の追加により、患者名の再現率が99.27%まで向上した。これは、感受性の高いPIIタイプとして最も重要な患者名について、報告された最高の数値であり、2例の誤検出はアノテーションエラーに起因しており、その結果の堅牢性は保証されている。
• EHR特徴量と人間が設計した特徴量を併用したモデルでは、EHR特徴量のみのモデルと比較して再現率がわずかに低下しており、特に電話番号や住所に対しては、きつい正規表現に過剰適合（オーバーフィッティング）が原因で顕著に見られた。
• 患者名の検出において、EHR特徴量を用いたモデルは99.27%の再現率を達成し、特徴量なしのベースラインモデルを著しく上回った。これは、EHRコンテキストの価値を示している。
• EHR特徴量を用いることで、郵便番号では100%のF1スコア、電話番号では99.37%のF1スコアを達成した。これは、適合率と再現率のバランスが良好であることを示している。
• EHR特徴量を用いることで、拡張子を含むか、桁数が不足しているなど不適切に形式化された電話番号に対しても、従来のパターンマッチングを超える汎化性能を示した。