[논문 리뷰] FedNER: Privacy-preserving Medical Named Entity Recognition with Federated Learning

Suyu Ge, Fangzhao Wu외 4명|arXiv (Cornell University)|2020. 03. 20.

Topic Modeling참고 문헌 36인용 수 46

한 줄 요약

FedNER는 모델을 공유 모듈과 개인 모듈로 분해하고 연합 학습 설정에서 공유 모듈 기울에만 집계하여 여러 개인정보 보호 플랫폼에서 의료 NER 모델을 학습합니다.

ABSTRACT

Medical named entity recognition (NER) has wide applications in intelligent healthcare. Sufficient labeled data is critical for training accurate medical NER model. However, the labeled data in a single medical platform is usually limited. Although labeled datasets may exist in many different medical platforms, they cannot be directly shared since medical data is highly privacy-sensitive. In this paper, we propose a privacy-preserving medical NER method based on federated learning, which can leverage the labeled data in different platforms to boost the training of medical NER model and remove the need of exchanging raw data among different platforms. Since the labeled data in different platforms usually has some differences in entity type and annotation criteria, instead of constraining different platforms to share the same model, we decompose the medical NER model in each platform into a shared module and a private module. The private module is used to capture the characteristics of the local data in each platform, and is updated using local labeled data. The shared module is learned across different medical platform to capture the shared NER knowledge. Its local gradients from different platforms are aggregated to update the global shared module, which is further delivered to each platform to update their local shared modules. Experiments on three publicly available datasets validate the effectiveness of our method.

연구 동기 및 목표

• 각 플랫폼에서 제한된 라벨 데이터와 프라이버시 제약으로 의료 NER의 필요성에 대한 동기 부여.
• raw 데이터를 교환하지 않고 교차 플랫폼 라벨 데이터 활용을 위한 FedNER 제안.
• 공유/개인 구성요소로 모델을 분해하면 교차 플랫폼 학습이 향상됨을 보여줌.
• 중앙 서버를 통해 공유 모듈의 기울만 집계하여 프라이버시를 보호하는 학습을 입증.

제안 방법

• 의료 NER를 단어, 문자, 그리고 언어 모델 임베딩의 시퀀스 표기로 공식화.
• 단어 표현, 맥락 모델링(CNN + Bi-LSTM), CRF 디코딩으로 구성된 세 부분 NER 모델 구축.
• 모델을 공유 모듈(바닥 계층 및 임베딩)과 개인 모듈(상단 계층: Bi-LSTM 및 CRF)으로 분해.
• 개인 모듈은 로컬 데이터에서 학습하고 공유 모듈의 기울만 중앙 서버로 전송.
• 서버는 플랫폼 간 공유 모듈 기울을 가중합으로 집계하고 글로벌 공유 모듈을 업데이트하여 재분배.
• 수렴할 때까지 라운드를 반복.
• 세 가지 공개 데이터셋에서 BIO 태깅을 사용하고 엄격한 F1과 완화된 F1로 평가.

실험 결과

연구 질문

• RQ1 FedNER가 원시 데이터를 공유하지 않고도 여러 개인정보 보호 플랫폼의 데이터를 활용하여 의료 NER을 개선할 수 있는가?
• RQ2 공유 모듈과 개인 모듈로 분해하는 것이 완전히 공유된 방법이나 완전히 개인적인 방법보다 성능이 더 나은가?
• RQ3 FedNER가 데이터가 IID가 아닌 다양한 의료 NER 데이터셋에서 어떻게 성능을 발휘하는가?

주요 결과

• FedNER는 세 가지 의료 NER 데이터셋에서 단일 플랫폼 학습 및 여러 베이스라인보다 일관되게 우수한 성능을 보인다.
• 공유 및 개인 모듈로 분해하는 것은 플랫폼 특성을 유지하면서 교차 플랫폼 지식을 효과적으로 포착한다.
• 공유 엔티티 정보의 중첩이 증가하고 플랫폼당 데이터가 부족할수록 FedNER의 성능 향상은 커진다.
• FedNER는 FedNER 프레임워크 하에 적용될 때 서로 다른 의료 NER 방법을 개선할 수 있는 일반 프레임워크이다.