[論文レビュー] FedNER: Privacy-preserving Medical Named Entity Recognition with Federated Learning

Suyu Ge, Fangzhao Wu+4 more|arXiv (Cornell University)|Mar 20, 2020

Topic Modeling参考文献 36被引用数 46

ひとこと要約

FedNERはモデルを共有モジュールとプライベートモジュールに分解し、共有モジュールの勾配のみを連邦設定で集約することで、複数のプライバシーに敏感なプラットフォーム上で医療NERモデルを学習します。

ABSTRACT

Medical named entity recognition (NER) has wide applications in intelligent healthcare. Sufficient labeled data is critical for training accurate medical NER model. However, the labeled data in a single medical platform is usually limited. Although labeled datasets may exist in many different medical platforms, they cannot be directly shared since medical data is highly privacy-sensitive. In this paper, we propose a privacy-preserving medical NER method based on federated learning, which can leverage the labeled data in different platforms to boost the training of medical NER model and remove the need of exchanging raw data among different platforms. Since the labeled data in different platforms usually has some differences in entity type and annotation criteria, instead of constraining different platforms to share the same model, we decompose the medical NER model in each platform into a shared module and a private module. The private module is used to capture the characteristics of the local data in each platform, and is updated using local labeled data. The shared module is learned across different medical platform to capture the shared NER knowledge. Its local gradients from different platforms are aggregated to update the global shared module, which is further delivered to each platform to update their local shared modules. Experiments on three publicly available datasets validate the effectiveness of our method.

研究の動機と目的

• 各プラットフォームでラベル付きデータが限られている医療NERの必要性とプライバシー制約を動機づける。
• Rawデータを交換せずに跨プラットフォームのラベル付きデータを活用するFedNERを提案する。
• モデルを共有部とプライベート部に分解することが跨プラットフォーム学習を改善することを示す。
• 中央サーバを通じて共有モジュールの勾配のみを集約することでプライバシー保護型訓練を実証する。

提案手法

• 医療NERを語彙・文字・言語モデルの埋め込みを用いた系列ラベリングとして定式化する。
• 3部構成のNERモデルを構築する：語彙表現、文脈モデリング（CNN + Bi-LSTM）、CRFデコード。
• モデルを共有モジュール（下部層と埋め込み）とプライベートモジュール（上部層：Bi-LSTMとCRF）に分解する。
• プライベートモジュールはローカルデータ上で訓練し、共有モジュールの勾配だけを中央サーバへ送る。
• サーバはプラットフォーム間の共有モジュール勾配を加重和で集約し、グローバル共有モジュールを更新して再配布する。
• 収束するまでラウンドを繰り返す。
• BIOタグ付けを3つの公開データセットで用い、厳格と緩和のF1で評価する。

実験結果

リサーチクエスチョン

• RQ1 Rawデータを共有せずに複数のプライバシーに敏感なプラットフォームのデータを活用してFedNERは医療NERを改善できるか？
• RQ2 モデルを共有モジュールとプライベートモジュールに分解することは、完全に共有または完全にプライベートなアプローチよりも性能を向上させるか？
• RQ3 FedNERは非IIDデータ分布を持つ多様な医療NERデータセットでどのように性能を発揮するか？

主な発見

モデル	CADEC_Strict_F1	CADEC_Strict_P	CADEC_Strict_R	CADEC_Relax_F1	CADEC_Relax_P	CADEC_Relax_R	ADE_Strict_F1	ADE_Strict_P	ADE_Strict_R	ADE_Relax_F1	ADE_Relax_P	ADE_Relax_R	SMM4H_Strict_F1	SMM4H_Strict_P	SMM4H_Strict_R	SMM4H_Relax_F1	SMM4H_Relax_P	SMM4H_Relax_R
FedNER	65.16	66.45	63.92	84.55	84.23	84.87	82.57	80.22	85.06	88.90	88.39	89.42	32.69	41.84	26.82	67.81	74.27	63.38

• FedNERは3つの医療NERデータセットにおいて、単一プラットフォームの訓練およびいくつかのベースラインを一貫して上回る。
• 共有モジュールとプライベートモジュールへの分解は、プラットフォーム特有の特徴を保持しつつ、跨プラットフォーム知識を効果的に捉える。
• プラットフォーム間で重複するエンティティ情報が増え、各プラットフォームのデータ量が少ない場合に、FedNERの性能向上は顕著になる。
• FedNERはFedNERフレームワークの下で適用した場合、異なる医療NER手法を改善できる汎用的なフレームワークである。