[논문 리뷰] Feature-Augmented Neural Networks for Patient Note De-identification

Ji Young Lee, Franck Dernoncourt외 2명|arXiv (Cornell University)|2016. 10. 30.

Machine Learning in Healthcare참고 문헌 17인용 수 3

한 줄 요약

이 논문은 LSTMs와 문자 임베딩 기반 기존 시퀀스 레이블링 모델에 인간이 설계한 특징과 EHR에서 유도된 특징을 통합하여 환자 기록의 탈식별화를 위한 특징 증강 신경망을 제안한다. 특히 환자 및 의료진 이름과 같은 EHR에서 유도된 특징의 추가로 민감한 개인정보 유형(예: 환자 이름)에 대해 재현율이 크게 향상되었으며, 99.27%의 재현율을 기록하여 최신 기술 수준의 성능에서의 핵심 진전을 이룩하였다.

ABSTRACT

Patient notes contain a wealth of information of potentially great interest to medical investigators. However, to protect patients' privacy, Protected Health Information (PHI) must be removed from the patient notes before they can be legally released, a process known as patient note de-identification. The main objective for a de-identification system is to have the highest possible recall. Recently, the first neural-network-based de-identification system has been proposed, yielding state-of-the-art results. Unlike other systems, it does not rely on human-engineered features, which allows it to be quickly deployed, but does not leverage knowledge from human experts or from electronic health records (EHRs). In this work, we explore a method to incorporate human-engineered features as well as features derived from EHRs to a neural-network-based de-identification system. Our results show that the addition of features, especially the EHR-derived features, further improves the state-of-the-art in patient note de-identification, including for some of the most sensitive PHI types such as patient names. Since in a real-life setting patient notes typically come with EHRs, we recommend developers of de-identification systems to leverage the information EHRs contain.

연구 동기 및 목표

• 신경망 기반 환자 기록 탈식별화 시스템의 재현율을 향상시키는 것. 이는 환자 개인정보 보호에 있어 핵심적이다.
• 엔드 투 엔드 신경망 모델에 인간이 설계한 특징과 EHR에서 유도된 특징을 통합함으로써 최신 기술 수준을 초월한 성능 향상을 이룰 수 있는지 조사하는 것.
• 실제 임상 환경에서 구조화된 EHR 데이터(예: 환자 및 의료진 이름)가 탈식별화 정확도에 미치는 영향을 평가하는 것.
• 특히 가장 개인정보가 민감한 유형인 환자 이름에 대해 특징 통합이 감지 성능을 향상시키는지 확인하는 것.
• 다양한 특징 유형을 신경망 모델과 결합할 때 정밀도와 재현율 간의 상충 관계를 분석하는 것.

제안 방법

• 이전의 LSTM 기반 및 문자 강화 토큰 임베딩 기반 신경망 모델에 각 토큰에 대한 이진 특징을 처리하는 피드포워드 신경망을 추가하여 확장한다.
• 특징으로는 날짜, 전화번호 등의 정규 표현식을 사용한 인간이 설계한 패턴과 관련 EHR 데이터베이스에서 유도된 환자 및 의료진 이름 등의 EHR에서 유도된 특징이 포함된다.
• 피드포워드 네트워크의 출력은 입력 레이어에서 토큰 임베딩과 연결되어, 원시 임베딩과 설계된 특징을 동시에 학습할 수 있도록 한다.
• 모델은 모든 레이어를 통합하여 최적화하는 공동 학습 목표를 사용하며, 조건부 랜덤 필드(CRF)를 적용하여 가장 가능성이 높은 레이블 시퀀스를 예측하는 레이어를 포함한다.
• 모델은 역전파를 사용하여 엔드 투 엔드로 훈련되며, 하이퍼파라미터는 다섯 번의 교차 검증을 통해 최적화된다.
• 성능 평가는 표준 탈식별화 데이터셋을 기반으로 하며, 각 개인정보 유형별 정밀도, 재현율, F1 점수로 측정된다.

실험 결과

연구 질문

• RQ1 환자 및 의료진 이름과 같은 EHR에서 유도된 특징의 통합이 신경망 기반 탈식별화 시스템의 재현율을 향상시킬 수 있는가?
• RQ2 인간이 설계한 특징을 추가하면 신경망 모델의 성능이 떨어지거나 향상되는가? 특히 희귀하거나 복잡한 개인정보 유형에 대해 어떻게 영향을 미치는가?
• RQ3 다양한 개인정보 유형에 대해 특징 증강 모델과 특징이 없는 기준 모델 간의 성능 비교는 어떻게 이루어지는가?
• RQ4 모든 특징을 통합했을 때 정밀도는 향상되었음에도 불구하고 재현율이 감소하는 이유는 무엇이며, 이는 잘못된 형식의 개인정보 인스턴스에 대한 모델의 민감성과 어떻게 관련되는가?
• RQ5 실제 임상 환경에서의 구현에 있어 구조화된 EHR 데이터를 얼마나 효과적으로 활용하여 탈식별화 성능을 향상시킬 수 있는가?

주요 결과

• EHR에서 유도된 특징만을 사용한 모델은 12개의 개인정보 유형 중 6개에 대해 가장 높은 재현율을 기록했으며, 환자 이름의 경우 99.14% 재현율, 의료진 이름의 경우 98.48% 재현율을 기록했다.
• EHR에서 유도된 특징의 추가로 환자 이름의 재현율이 99.27%로 향상되었으며, 이는 이 민감한 개인정보 유형에 대해 보고된 바 가장 높은 수준이며, 두 건의 가짜 음성은 애너테이션 오류로 인한 것으로 확인되어 안정성이 입증되었다.
• 모든 특징(이하 EHR + 인간이 설계한 특징)을 사용한 모델는 EHR 전용 특징 모델에 비해 약간의 재현율 감소를 보였으며, 특히 전화번호와 주소에 대해 정규 표현식에 너무 강하게 과적합되어 발생한 문제였다.
• 환자 이름에 대해 EHR 특징을 사용한 모델는 99.27%의 재현율을 기록했으며, 특징이 없는 기준 모델보다 뚜렷이 뛰어나, EHR 컨텍스트의 가치를 입증했다.
• EHR 특징을 사용할 경우 우편번호의 경우 F1 점수가 100%에 도달했고, 전화번호의 경우 99.37%의 F1 점수를 기록하여 정밀도와 재현율의 균형이 뛰어났다.
• EHR 특징이 사용된 경우, 예를 들어 확장자나 누락된 숫자가 있는 잘못된 형식의 전화번호에 대해서도 성능이 향상되어, 패턴 매칭을 넘어서 보다 일반화된 성능을 보였다.