[論文レビュー] A Deep Learning Architecture for De-identification of Patient Notes: Implementation and Evaluation

Kaung Khin, Philipp Burckhardt+1 more|arXiv (Cornell University)|Oct 3, 2018

Topic Modeling参考文献 17被引用数 30

ひとこと要約

本稿では、Bi-LSTMと変分ドロップアウト、ELMoの文脈的単語埋め込みを組み合わせた深層学習アーキテクチャを提案し、患者ノートの自動脱識別化を実現する。本研究は、語彙辞書やルールベースの手法に依存せずに、2つのベンチマークデータセット（i2b2および看護ノート）で最先端の性能を達成しており、看護ノートデータセットにおいてdeidentifyシステムを顕著に上回るとともに、高速な収束性を維持している。

ABSTRACT

De-identification is the process of removing 18 protected health information (PHI) from clinical notes in order for the text to be considered not individually identifiable. Recent advances in natural language processing (NLP) has allowed for the use of deep learning techniques for the task of de-identification. In this paper, we present a deep learning architecture that builds on the latest NLP advances by incorporating deep contextualized word embeddings and variational drop out Bi-LSTMs. We test this architecture on two gold standard datasets and show that the architecture achieves state-of-the-art performance on both data sets while also converging faster than other systems without the use of dictionaries or other knowledge sources.

研究の動機と目的

• 臨床ノート内の保護された健康情報（PHI）を脱識別化するエンドツーエンドの深層学習アーキテクチャの開発を目的とする。
• ELMoのような文脈的単語埋め込みを活用することで、静的埋め込みよりも優れた意味的・構文的文脈を捉えることで、脱識別化の性能を向上させることを目的とする。
• 従来のシステムで一般的に用いられる外部辞書やルールベースのコンponents（例：語彙辞書）に依存しないことを目的とする。
• 標準的なゴールスタンダードデータセットを用いてモデルの性能を評価し、既存の最先端システムと比較することを目的とする。
• 特に職業（Profession）や識別番号（ID）といった困難なPHIタイプについてのモデルの限界と誤分類パターンを分析することを目的とする。

提案手法

• 正則化と過学習の防止を目的として、変分ドロップアウトを用いた双方向LSTMネットワークを採用する。
• 複数の埋め込みタイプを統合する：ELMoの文脈的埋め込み、GloVe単語埋め込み、OoV語用の文字レベルLSTM埋め込み。
• ラベルの依存関係をモデル化し、系列ラベル付けの精度を向上させるために、LSTM層の上位に条件付きランダムフィールド（CRF）を適用する。
• エポックの早期停止を伴うAdam最適化により、交差エントロピー損失を用いてエンドツーエンドで学習を実行する。
• ルールベースの辞書に依存せずに、品詞（POS）タギングなどの外部特徴を入力表現を豊かにするために用いる。
• 性能への寄与を評価するために、系統的に部品（例：文字埋め込み、ELMo、変分ドロップアウト）を除去するアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 ELMoのような文脈的単語埋め込みを用いた深層学習アーキテクチャは、語彙辞書やルールベースの特徴に依存せずに、脱識別化で最先端の性能を達成できるか？
• RQ2 文字レベルの埋め込みとCRF層の統合は、臨床テキストにおけるPHI検出能力をどのように向上させるか？
• RQ3 名前、日付、医療記録番号などのPHIタイプを捉える際に、ELMo埋め込みと静的埋め込み（例：GloVe）の相対的な寄与度は何か？
• RQ4 全体的な性能が高くても、職業（Profession）やIDなどの特定のPHIタイプが依然として困難なのはなぜか？
• RQ5 i2b2から看護ノートへと異なる臨床テキスト形式に跨るモデルの汎用性はどの程度か？

主な発見

• 本モデルは、2014年i2b2脱識別化データセットおよび看護ノートコーパスの両方で最先端のF1スコアを達成し、後者ではdeidentifyシステムを顕著に上回った。
• i2b2データセットでは、全体のPHI分類でF1スコア0.908を達成しており、特に日付（F1 > 0.915）および電話番号（F1 > 0.85）のカテゴリで優れた性能を示した。
• ELMo埋め込みの導入により、GloVe埋め込みに比べて顕著な性能向上が見られ、医療特有用語や職業・IDなどのPHIタイプにおいて顕著であった。
• アブレーションスタディの結果、ELMo埋め込みの除去が最も大きな性能低下を引き起こし、次に変分ドロップアウトの除去が続くことから、これらが正則化と文脈モデリングにおいて極めて重要な役割を果たしていることが示された。
• i2b2モデルから微調整した場合、構造的・フォーマット的差異のため、看護ノートデータセットでは性能が著しく低下し、クロスドメインへの移行性の限界が浮き彫りになった。
• 誤分類分析から、トークナイゼーションの問題や数字形式の類似性（例：'265-01-73' が電話番号として誤分類）が主な誤分類要因であることが判明し、単純な正規表現ルールの導入によりさらなる性能向上が可能である可能性を示唆した。