[논문 리뷰] Validating transformers for redaction of text from electronic health records in real-world healthcare

Željko Kraljević, Anthony Shek외 9명|arXiv (Cornell University)|2023. 10. 05.

Electronic Health Records Systems인용 수 4

한 줄 요약

이 논문은 실제 의료 환경에서 전자 건강 기록(EHR)의 비밀번호 해제를 위한 트랜스포머 기반 모델인 AnonCAT을 제안한다. 세 개의 영국 병원에서 다양한 EHR 시스템을 사용해 수작업으로 레이블링된 3,116건의 EHR을 기반으로 훈련된 AnonCAT은 모든 기관에서 높은 재현율(0.99, 0.99, 0.96)을 달성했으며, 기초 모델의 국소적이고 지속적인 미세조정이 보호된 건강 정보를 정확하고 유연하며 유지보수 가능한 방식으로 삭제하는 데 유용하다는 것을 입증한다.

ABSTRACT

Protecting patient privacy in healthcare records is a top priority, and redaction is a commonly used method for obscuring directly identifiable information in text. Rule-based methods have been widely used, but their precision is often low causing over-redaction of text and frequently not being adaptable enough for non-standardised or unconventional structures of personal health information. Deep learning techniques have emerged as a promising solution, but implementing them in real-world environments poses challenges due to the differences in patient record structure and language across different departments, hospitals, and countries. In this study, we present AnonCAT, a transformer-based model and a blueprint on how deidentification models can be deployed in real-world healthcare. AnonCAT was trained through a process involving manually annotated redactions of real-world documents from three UK hospitals with different electronic health record systems and 3116 documents. The model achieved high performance in all three hospitals with a Recall of 0.99, 0.99 and 0.96. Our findings demonstrate the potential of deep learning techniques for improving the efficiency and accuracy of redaction in global healthcare data and highlight the importance of building workflows which not just use these models but are also able to continually fine-tune and audit the performance of these algorithms to ensure continuing effectiveness in real-world settings. This approach provides a blueprint for the real-world use of de-identifying algorithms through fine-tuning and localisation, the code together with tutorials is available on GitHub (https://github.com/CogStack/MedCAT).

연구 동기 및 목표

• 의료 기관 간 비표준적이고 다양한, 변화하는 EHR 구조를 다루는 데에 규칙 기반 삭제 방법의 한계를 해결하기 위해.
• 특히 트랜스포머를 포함한 딥러닝 모델의 성능과 실용성을 평가하여 이질적인 EHR 시스템을 가진 실제 임상 환경에서의 비밀번호 해제에 적용 가능성을 검토하기 위해.
• 지역적 미세조정과 지속적인 성능 감사 기능을 통해 NLP 모델을 의료 환경에 배포하고 유지보수할 수 있는 실용적이고 확장 가능한 워크플로우를 개발하기 위해.
• 임상적으로 중요한 정보의 과다 삭제를 줄이면서도 비밀번호 해제 작업에서 높은 재현율을 유지하기 위해.
• 기존 병원 정보 거버넌스 워크플로우에 모델 배포를 통합하여 추가 부담을 최소화하고 지속적인 모델 개선을 지원하기 위해.

제안 방법

• AnonCAT는 명시적 실체 인식 및 연결(NER+L)을 위한 의료 NLP 툴킷인 MedCAT을 기반으로 하며, 감지된 개인정보(PHI) 실체를 대체하거나 제거함으로써 비밀번호 해제에 적합하게 조정되었다.
• 세 개의 영국 병원에서 서로 다른 EHR 시스템을 사용해 실제 EHR 문서 3,116건을 기반으로 모델을 미세조정하였으며, 이름, 주소, NHS 번호 등 14종의 PHI 유형을 수작업으로 레이블링하였다.
• 다단계 레이블링 및 검증 과정을 사용하였으며, 모델 예측과 인간 레이블러 간의 이견은 반복적으로 해결되었으며, 주로 누락된 PHI 인스턴스에 초점을 맞추었다.
• 표준 NLP 메트릭인 정밀도, 재현율, F1 점수를 사용해 성능을 평가하였으며, 다양한 PHI 유형에 대해 실체 수준 및 통합 메트릭을 보고하였다.
• 제로샷 및 희소샷 설정에서 테스트를 수행하였으며, 미세조정 없이 새로운 병원 데이터셋에 대한 성능 평가(KCH 모델이 GSTT 데이터에 대해 평가됨)와 150~300건의 문서로 미세조정한 후의 성능 평가를 실시하였다.
• 정밀도와 재현율 간의 균형을 맞추기 위해 바이어스 전략을 탐색하였으며, 두 모델(단지 KCH 데이터로만 훈련된 AnonCAT 및 기준 모델인 Philter)을 사용해 GSTT 데이터셋에서 트레이드오프 분석을 수행하였다.

Figure 1: Sunburst hierarchical ontology structure of terms for redaction. Five broad terms serve as the primary child nodes to which more specific terms child nodes, e.g. postcode, were connected. The terminal leaf nodes were used to annotate documents with patient data terms. Non-healthcare identi

실험 결과

연구 질문

• RQ1 소규모 도메인 특화 데이터로도 트랜스포머 기반 모델이 다양한 병원 EHR 시스템에서 높은 재현율과 정밀도를 달성할 수 있는가?
• RQ2 150~300건의 문서로 이루어진 희소샷 미세조정이 사전 훈련된 기초 모델을 새로운 의료 기관의 EHR 구조와 언어 패턴에 적응시키는 데 얼마나 효과적인가?
• RQ3 기관 간 데이터 드리프트와 구조적 다양성이 사전 훈련된 비밀번호 해제 모델의 성능에 미치는 영향은 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ4 복잡한 임상 텍스트에서 고품질의 PHI 레이블링 데이터셋을 생성하기 위해, 모델 오류를 수정하는 반복적 레이블링 과정이 어려운 탐지 작업에서 더 효율적인가, 아니면 이중 레이블링보다?
• RQ5 기존 병원 정보 거버넌스 워크플로우가 지속적인 모델 감사 및 미세조정을 지원하도록 얼마나 잘 적응시킬 수 있는가?

주요 결과

• AnonCAT은 세 개의 별개의 병원 데이터셋에서 각각 재현율 0.99, 0.99, 0.96를 달성하여 다양한 EHR 시스템과 언어 구조에서 매우 높은 효과성을 입증하였다.
• 150~300건의 수작업 레이블링 문서로만 미세조정해도 새로운 데이터셋에서 모델 성능이 크게 향상되었으며, 미세조정 문서 수가 증가할수록 성능 향상이 더 두드러졌다.
• 대부분의 레이블링 오류(90%)는 인간 레이블러가 PHI를 놓친 데 기인했으며, 잘못된 레이블링이 아닌 것으로 나타나, 어려운 탐지 작업에서는 모델 보조 반복 검증이 이중 레이블링보다 더 효율적임을 시사한다.
• 최첨단 오프더쇼프 툴인 Philter로도 새로운 데이터셋에서 재현율 95% 이상을 달성하기 위해 미세조정이 필요했으며, 이는 국소적 적응의 필수성을 강조한다.
• 모델의 성능은 다양한 PHI 유형에서 뛰어난 일반화 능력을 보였으며, NHS 번호(F1 = 0.83)와 날짜(F1 = 0.83)와 같은 중요한 실체 유형에서도 높은 F1 점수를 기록하였다.
• 모델의 재현율을 높게 설정하는 바이어스 전략을 적용하면 전반적인 성능 향상이 가능하지만, 정밀도가 감소하는 단점이 있어 임상 환경 배포 시 신중한 트레이드오프 관리가 필요하다.

Figure 2: The experimental setup across sites for AnonCAT.