[論文レビュー] NLNDE: The Neither-Language-Nor-Domain-Experts' Way of Spanish Medical Document De-Identification

Lukas Lange, Heike Adel+1 more|arXiv (Cornell University)|Jul 2, 2020

Topic Modeling参考文献 6被引用数 11

ひとこと要約

本稿では、言語的・医療分野の専門知識を要せず、スペイン語の医療文書における保護医療情報（PHI）の脱識別化を目的とした、双方向LSTMとCRF出力層を用いたシーケンスラベル付け手法NLNDEを提示する。事前学習済み埋め込み表現（FLAIRやドメイン固有のfastText）を活用することで、低リソース・非英語・非標準的な医療テキスト環境においても高いF1スコア（約97％）を達成し、優れた性能を示している。

ABSTRACT

Natural language processing has huge potential in the medical domain which recently led to a lot of research in this field. However, a prerequisite of secure processing of medical documents, e.g., patient notes and clinical trials, is the proper de-identification of privacy-sensitive information. In this paper, we describe our NLNDE system, with which we participated in the MEDDOCAN competition, the medical document anonymization task of IberLEF 2019. We address the task of detecting and classifying protected health information from Spanish data as a sequence-labeling problem and investigate different embedding methods for our neural network. Despite dealing in a non-standard language and domain setting, the NLNDE system achieves promising results in the competition.

研究の動機と目的

• スペイン語の医療文書における保護医療情報（PHI）の脱識別化という、低リソースかつ非標準的な言語環境下での課題に対処すること。
• 言語的・医療分野の専門家に依存せずに、ニューラルシーケンスラベル付けモデルの有効性を医療分野の脱識別化タスクにおいて評価すること。
• スペイン語臨床テキストにおけるPHI検出性能に与える影響を、文字レベル埋め込み、fastText、FLAIRといった異なる埋め込み戦略の比較を行うこと。
• MEDDOCANコンペティションから得られた合成データ増強が、モデルの汎化性能や性能に与える影響を評価すること。

提案手法

• 脱識別化を、構造的予測のための条件付きランダムフィールド（CRF）出力層を備えた双方向LSTMを用いたシーケンスラベル付けタスクとして定式化する。
• 入力トークンは、複数の埋め込みタイプで表現される：トレーニング中に学習される文字レベル埋め込み、ドメインに依存しないfastText（300次元）、SciELOおよびWikipedia上で学習されたドメイン固有のfastText（100次元）、および事前学習済みのFLAIR埋め込み（4096次元）。
• FLAIR埋め込みは、文全体の文脈を用いた文字レベル言語モデルを用いて計算され、文脈に応じた単語表現を可能にする。
• 正則化のため、エポックの早期停止とドロップアウト（0.5）を採用し、トレーニングでは学習率0.1、バッチサイズ32を用いる。
• 後処理ステップとして、トレーニングデータに過小に表現されていた特定のPHIタイプ（例：URL、IPアドレス）を検出・是正するための正規表現を適用する。
• MEDDOCAN 2019共有タスクを用いて評価し、標準的なF1スコアと混同行列分析を用いる。

実験結果

リサーチクエスチョン

• RQ1 言語的・医療分野の専門知識を要せず、ニューラルシーケンスラベル付けモデルがスペイン語の医療脱識別化タスクで高い性能を達成できるか？
• RQ2 低リソース・非英語医療テキストにおけるPHI検出性能において、文字レベル埋め込み、fastText、FLAIRといった異なる事前学習済み埋め込み手法の性能はどのように比較されるか？
• RQ3 MEDDOCANデータセットからの合成データ増強が、モデルの汎化性能および性能に与える影響はどの程度か？
• RQ4 この非標準的な医療NLP環境において、ドメイン固有の埋め込み表現は高い性能を達成するために必要か？

主な発見

• NLNDEシステムは、すべての実行（runs）において約97％のF1スコアを達成し、スペイン語の医療文書の脱識別化において優れた性能を示した。
• 最も優れた性能を示したシステム（run 3）は、FLAIRとドメイン固有のfastText埋め込みの組み合わせを採用しており、文脈的かつドメインに適応した表現が結果を向上させることを示している。
• PHIクラス間の誤認識は最小限に抑えられ、最も高い誤認識は、意味的に関連するクラス間、例えばHOSPITAL（HOS）とINSTITUTION（INST）、またはSTREET（CALLE）とTERRITORY（TER）の間で発生していた。
• 合成ヘッダー／フッターの増強を除いた実際のテキストでのテストでも、F1スコアが約0.90を維持したため、データ増強を超えた堅牢な性能を示している。
• 各実行間での性能差は小さく、モデルの成功は合成データに起因するのではなく、効果的な表現学習に起因していると考えられる。
• 後処理段階での正規表現の活用により、URL や IP アドレスといった特定のPHIタイプの正確性が著しく向上し、これらのクラスにおける精度が改善された。