[논문 리뷰] A Deep Learning Architecture for De-identification of Patient Notes: Implementation and Evaluation

Kaung Khin, Philipp Burckhardt외 1명|arXiv (Cornell University)|2018. 10. 03.

Topic Modeling참고 문헌 17인용 수 30

한 줄 요약

이 논문은 환자 기록의 자동 탈식별화를 위한 딥러닝 아키텍처를 제안한다. 이 아키텍처는 양방향 LSTM, 변동형 드롭아웃, ELMo 문맥 단어 임베딩을 결합하며, 사전 또는 규칙 기반 방법에 의존하지 않고도 i2b2 및 간호 기록 데이터셋에서 최신 기술 수준의 성능을 달성한다. 특히 간호 기록 데이터셋에서 deidentify 시스템을 크게 능가하면서도 빠른 수렴 속도를 유지한다.

ABSTRACT

De-identification is the process of removing 18 protected health information (PHI) from clinical notes in order for the text to be considered not individually identifiable. Recent advances in natural language processing (NLP) has allowed for the use of deep learning techniques for the task of de-identification. In this paper, we present a deep learning architecture that builds on the latest NLP advances by incorporating deep contextualized word embeddings and variational drop out Bi-LSTMs. We test this architecture on two gold standard datasets and show that the architecture achieves state-of-the-art performance on both data sets while also converging faster than other systems without the use of dictionaries or other knowledge sources.

연구 동기 및 목표

• 임상 기록 내 보호된 건강정보(PHI)를 위한 엔드 투 엔드 딥러닝 아키텍처 개발
• ELMo와 같은 문맥 기반 단어 임베딩을 활용하여 의미적 및 문법적 문맥을 더 잘 포착함으로써 탈식별화 성능 향상
• 기존 시스템에서 흔히 사용되는 외부 사전 또는 규칙 기반 구성 요소(예: 사전)에 대한 의존성 제거
• 표준 골드스탠다드 데이터셋에서 모델 성능 평가 및 기존 최신 기술 수준의 시스템과의 비교
• 특히 전문직 및 식별번호와 같은 어려운 PHI 유형에 대한 모델의 한계와 오류 패턴 분석

제안 방법

• 변동형 드롭아웃을 사용한 양방향 LSTM 네트워크를 사용하여 모델 정규화 및 과적합 방지
• 다양한 임베딩 유형 통합: ELMo 문맥 임베딩, GloVe 단어 임베딩, OOV(표본 외어휘) 단어를 위한 문자 수준 LSTM 임베딩
• 라벨 간 의존성 모델링 및 시퀀스 레이블링 정확도 향상을 위해 LSTM 레이어 위에 조건부 랜덤 필드(CRF) 사용
• 교차 엔트로피 손실를 사용해 엔드 투 엔드로 훈련하고, Adam 최적화 알고리즘과 조기 정지 기법을 적용
• 규칙 기반 사전에 의존하지 않고도 입력 표현을 풍부하게 하기 위해 품사 태깅 등의 외부 특징 사용
• 성능 기여도 평가를 위해 구성 요소를 체계적으로 제거(예: 문자 임베딩, ELMo, 변동형 드롭아웃)하는 분석 수행

실험 결과

연구 질문

• RQ1 ELMo와 같은 문맥 기반 단어 임베딩을 사용하는 딥러닝 아키텍처가 사전이나 규칙 기반 특징에 의존하지 않고도 탈식별화에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 문자 수준 임베딩과 CRF 레이어의 통합이 임상 텍스트 내 PHI 탐지 능력을 어떻게 향상시키는가?
• RQ3 ELMo 임베딩과 정적 임베딩(GloVe 등) 간의 상대적 기여도는 이름, 날짜, 의료기록번호와 같은 PHI 유형을 포착하는 데 어떻게 영향을 미치는가?
• RQ4 전체 성능은 높지만 일부 PHI 유형(예: 전문직, 식별번호)은 여전히 도전적인 이유는 무엇인가?
• RQ5 i2b2에서 간호 기록으로의 다양한 임상 텍스트 형식 간 모델 이식성은 어느 정도인가?

주요 결과

• 2014년 i2b2 탈식별화 데이터셋과 간호 기록 코퍼스 양쪽에서 최신 기술 수준의 F1 스코어를 달성하며, 특히 후자의 경우 deidentify 시스템을 능가한다.
• i2b2 데이터셋에서 전체 PHI 분류에 대해 F1 스코어 0.908를 기록했으며, 특히 날짜(F1 > 0.915) 및 전화번호(F1 > 0.85) 유형에서 뛰어난 성능를 보였다.
• ELMo 임베딩 사용 시 GloVe 임베딩 대비 성능 향상이著명했으며, 특히 의료 전용 용어 및 전문직, 식별번호와 같은 PHI 유형에서 두드러졌다.
• 분석 결과, ELMo 임베딩 제거 시 성능 저하가 가장 크게 발생했고, 이어 변동형 드롭아웃 제거 시에도 큰 영향을 미쳐 이들이 정규화 및 문맥 모델링에서 핵심 역할을 함을 시사했다.
• i2b2 모델로 간호 기록 데이터셋을 미세조정할 경우, 구조적 및 포맷 차이로 인해 성능이 열악하게 나타나, 이식성의 한계를 드러냈다.
• 오류 분석 결과, 토크나이제이션 문제와 숫자 형식 유사성(예: '265-01-73'이 전화번호로 잘못 분류됨)이 주요 오류 원인임을 확인했으며, 이는 단순한 정규식 규칙이 추가로 성능 향상에 기여할 수 있음을 시사한다.