[논문 리뷰] FedNER: Medical Named Entity Recognition with Federated Learning

Suyu Ge, Fangzhao Wu외 4명|arXiv (Cornell University)|2020. 03. 20.

Topic Modeling참고 문헌 31인용 수 24

한 줄 요약

FedNER는 원시 데이터를 공유하지 않고도 의료 플랫폼 간에 개인정보 보호를 고려한 협업을 가능하게 하는 피어드 학습 프레임워크를 제안한다. 모델을 공유 모듈과 비공유 모듈으로 분해함으로써, 다양한 데이터셋에서 NER 성능을 향상시키면서도 데이터 이질성과 개인정보 보호 제약을 고려한다. 국소 기울기를 집계하여 글로벌 공유 모듈을 업데이트함으로써, FedNER는 비공개 데이터를 기반으로 한 성능 향상을 달성한다.

ABSTRACT

Medical named entity recognition (NER) has wide applications in intelligent healthcare. Sufficient labeled data is critical for training accurate medical NER model. However, the labeled data in a single medical platform is usually limited. Although labeled datasets may exist in many different medical platforms, they cannot be directly shared since medical data is highly privacy-sensitive. In this paper, we propose a privacy-preserving medical NER method based on federated learning, which can leverage the labeled data in different platforms to boost the training of medical NER model and remove the need of exchanging raw data among different platforms. Since the labeled data in different platforms usually has some differences in entity type and annotation criteria, instead of constraining different platforms to share the same model, we decompose the medical NER model in each platform into a shared module and a private module. The private module is used to capture the characteristics of the local data in each platform, and is updated using local labeled data. The shared module is learned across different medical platform to capture the shared NER knowledge. Its local gradients from different platforms are aggregated to update the global shared module, which is further delivered to each platform to update their local shared modules. Experiments on three publicly available datasets validate the effectiveness of our method.

연구 동기 및 목표

• 개별 의료 플랫폼에서 레이블이 지정된 의료 데이터가 제한되어 있는 문제를 해결하기 위해.
• 민감한 환자 데이터를 공유하지 않고도 의료 NER 모델의 공동 학습을 가능하게 하기 위해.
• 엔티티 유형과 애너테이션 기준의 차이로 인해 발생하는 플랫폼 간 데이터 이질성을 다루기 위해.
• 데이터 프라이버시를 유지하면서 분산된 레이블 데이터를 활용하여 NER 성능을 향상시키기 위해.
• 공유 지식과 플랫폼별 특성 간의 분리를 고려한 모델 아키텍처를 개발하기 위해.

제안 방법

• 의료 NER 모델을 플랫폼 별로 공유 모듈과 비공유 모듈으로 분해한다.
• 각 플랫폼에서 자체 레이블 데이터를 사용하여 비공유 모듈을 국소적으로 학습함으로써 현지 데이터 특성을 반영한다.
• 모든 플랫폼의 국소 기울기를 집계하여 공통 NER 지식을 반영하는 글로벌 공유 모듈을 업데이트한다.
• 업데이트된 글로벌 공유 모듈을 각 플랫폼에 다시 배포하여 국소 정교화를 수행한다.
• 모든 참여 플랫폼의 기여를 기반으로 글로벌 모델을 업데이트하기 위해 피어드 평균을 적용한다.
• 국소 데이터 분포에 맞는 탄력적인 적응이 가능하면서도 플랫폼 간 지식 공유를 유지할 수 있도록 모듈식 아키텍처를 활용한다.

실험 결과

연구 질문

• RQ1 원시 환자 데이터를 공유하지 않고도 피어드 학습 접근법이 의료 NER 성능 향상에 효과적으로 기여할 수 있는가?
• RQ2 공유 모듈과 비공유 모듈으로의 모델 분해가 이질적인 의료 데이터 환경에서 성능에 어떤 영향을 미치는가?
• RQ3 분포 이질성으로 인한 성능 저하를 피어드 훈련이 어느 정도 완화할 수 있는가?
• RQ4 제안된 방법이 의료 NER 벤치마크에서 중심화된 접근법 및 비피어드 접근법보다 우수한 성능을 보이는가?
• RQ5 다양한 의료 기관 간 엔티티 유형과 애너테이션 기준의 변화에 대해 모델이 얼마나 강건한가?

주요 결과

• FedNER는 데이터 공유 없이도 분산된 레이블 데이터를 활용하여 세 가지 공개 의료 NER 데이터셋에서 뛰어난 성능을 달성한다.
• 공유 모듈과 비공유 모듈로의 모델 분해가 공통 및 플랫폼별 NER 패턴을 효과적으로 포착한다.
• 피어드 훈련 과정은 데이터 프라이버시를 유지하면서도 플랫폼 간 지식을 효과적으로 집계한다.
• 국소 데이터 분포가 플랫폼 간에 크게 다를 경우에도 성능 향상이 관찰된다.
• 의료 기관 간 엔티티 유형과 애너테이션 기준의 차이에 대해 모델이 강건함을 입증한다.
• 글로벌 공유 모듈은 다양한 의료 텍스트 소스 간에서 이식 가능한 NER 특징을 학습함으로써 일반화 능력을 향상시킨다.