[논문 리뷰] NLNDE: The Neither-Language-Nor-Domain-Experts' Way of Spanish Medical Document De-Identification

Lukas Lange, Heike Adel외 1명|arXiv (Cornell University)|2020. 07. 02.

Topic Modeling참고 문헌 6인용 수 11

한 줄 요약

이 논문은 언어나 의료 분야 전문 지식이 필요 없이 스페인어 의료 문서 내 보호된 건강정보(PHI)를 탈식별하기 위해 양방향 LSTM와 CRF 출력층을 사용하는 시퀀스 레이블링 접근법인 NLNDE를 제시한다. 사전 훈련된 임bedding(예: FLAIR 및 도메인 특화 fastText)을 활용하여 저자원, 비영어 및 비표준 의료 텍스트 환경에서도 높은 F1 점수(~97%)를 달성함으로써 강력한 성능을 입증한다.

ABSTRACT

Natural language processing has huge potential in the medical domain which recently led to a lot of research in this field. However, a prerequisite of secure processing of medical documents, e.g., patient notes and clinical trials, is the proper de-identification of privacy-sensitive information. In this paper, we describe our NLNDE system, with which we participated in the MEDDOCAN competition, the medical document anonymization task of IberLEF 2019. We address the task of detecting and classifying protected health information from Spanish data as a sequence-labeling problem and investigate different embedding methods for our neural network. Despite dealing in a non-standard language and domain setting, the NLNDE system achieves promising results in the competition.

연구 동기 및 목표

• 스페인어 의료 문서에서 보호된 건강정보(PHI)를 탈식별하는 데 있어 저자원 및 비표준 언어 환경에서의 과제를 해결하기 위해.
• 언어나 의료 분야 전문가에 의존하지 않고 신경 시퀀스 레이블링 모델의 효과성을 의료 탈식별 작업에서 평가하기 위해.
• 스페인어 임상 텍스트에서 PHI 탐지 성능에 영향을 주는 다양한 임베딩 전략(문자 수준, fastText, FLAIR)의 영향을 조사하기 위해.
• MEDDOCAN 경연에서 유래한 합성 데이터 증강이 모델의 일반화 능력이나 성능에 어떤 영향을 미치는지 평가하기 위해.

제안 방법

• 탈식별을 시퀀스 레이블링 작업으로 설정하고, 구조적 예측을 위해 양방향 LSTM에 조건부 랜덤 필드(CRF) 출력층을 사용한다.
• 입력 토큰은 여러 가지 임베딩 유형으로 표현된다: 훈련 중에 학습되는 문자 수준 임베딩, 도메인 독립적 fastText(300D), 도메인 특화 fastText(SciELO 및 위키백과 기반 100D), 사전 훈련된 FLAIR 임베딩(4096D).
• FLAIR 임베딩는 전체 문장의 맥락을 기반으로 한 문자 수준 언어 모델을 사용하여 맥락적 단어 표현을 생성한다.
• 모델은 조기 정지와 드롭아웃(0.5)을 사용하여 정규화하며, 훈련 중 학습률은 0.1, 배치 크기는 32로 설정한다.
• 후처리 단계에서 정규 표현식을 적용하여 훈련 데이터에서 미흡하게 표현된 특정 PHI 유형(예: URL, IP 주소)을 탐지하고 수정한다.
• 시스템은 MEDDOCAN 2019 공동 과제를 대상으로 평가되었으며, 표준 F1 점수와 혼동 행렬 분석을 사용한다.

실험 결과

연구 질문

• RQ1 언어나 의료 분야 전문 지식 없이도 신경 시퀀스 레이블링 모델이 스페인어 의료 탈식별 작업에서 높은 성능을 달성할 수 있는가?
• RQ2 저자원, 비영어 의료 텍스트에서 PHI 탐지 성능에 대해 문자 수준, fastText, FLAIR 등의 사전 훈련된 임베딩 방법 간 성능 비교는 어떻게 되는가?
• RQ3 MEDDOCAN 데이터셋에서 유래한 합성 데이터 증강이 모델의 일반화 능력과 성능에 어느 정도의 영향을 미치는가?
• RQ4 이 비표준 의료 NLP 환경에서 높은 성능을 내기 위해 도메인 특화 임베딩가 필수적인가?

주요 결과

• NLNDE 시스템은 모든 런에서 약 97%의 F1 점수를 기록하여 스페인어 의료 문서의 탈식별에서 강력한 성능을 보였다.
• 가장 높은 성능을 보인 시스템(Run 3)은 FLAIR와 도메인 특화 fastText 임베딩의 조합을 사용하여, 맥락적이고 도메인 인식형 표현이 결과 향상에 기여함을 시사했다.
• PHI 클래스 간 혼동은 최소한이었으며, 가장 높은 혼동은 의미적으로 유사한 클래스 간에서 발생했는데, 예를 들어 HOSPITAL(HOS)과 INSTITUTION(INST), 또는 STREET(CALLE)과 TERRITORY(TER) 사이에서였다.
• 합성 헤더/풋터 증강을 제외한 실제 텍스트에 대해 테스트했을 때도 모델은 높은 성능(F1 ~0.90)을 유지하여, 데이터 증강을 넘어서는 강건성을 보였다.
• 런 간 성능 차이가 미미하여, 모델의 성공이 합성 데이터에 의해 유도된 것이 아니라 효과적인 표현 학습에 기인함을 시사했다.
• 후처리 단계에서 정규 표현식을 사용함으로써 URL 및 IP 주소와 같은 특정 PHI 유형의 정밀도가 효과적으로 향상되었으며, 이는 정밀도 향상에 기여했다.