[논문 리뷰] Sensitive Data Detection and Classification in Spanish Clinical Text: Experiments with BERT

Aitor García Pablos, Naiara Pérez외 1명|arXiv (Cornell University)|2020. 03. 06.

Topic Modeling참고 문헌 26인용 수 14

한 줄 요약

이 논문은 영역 특화 기능 엔지니어링 없이 스페인어 임상 텍스트에서 민감 정보를 탐지하고 분류하기 위해 다국어 BERT 기반 시퀀스 레이블링 모델을 평가한다. 이 모델은 두 개의 스페인어 임상 데이터셋에서 최신 기술 성능을 달성하며, 전통적인 기계학습 방법보다 뛰어나고, 훈련 데이터 부족 상황에서도 높은 강건성을 보이며, MEDDOCAN 공동 과제에서 우승한 시스템에 비해 F1 점수로 0.3포인트 뒤처지는 성능을 보였다.

ABSTRACT

Massive digital data processing provides a wide range of opportunities and benefits, but at the cost of endangering personal data privacy. Anonymisation consists in removing or replacing sensitive information from data, enabling its exploitation for different purposes while preserving the privacy of individuals. Over the years, a lot of automatic anonymisation systems have been proposed; however, depending on the type of data, the target language or the availability of training documents, the task remains challenging still. The emergence of novel deep-learning models during the last two years has brought large improvements to the state of the art in the field of Natural Language Processing. These advancements have been most noticeably led by BERT, a model proposed by Google in 2018, and the shared language models pre-trained on millions of documents. In this paper, we use a BERT-based sequence labelling model to conduct a series of anonymisation experiments on several clinical datasets in Spanish. We also compare BERT to other algorithms. The experiments show that a simple BERT-based model with general-domain pre-training obtains highly competitive results without any domain specific feature engineering.

연구 동기 및 목표

• 스페인어 임상 텍스트에서 민감 정보 탐지 및 분류를 위한 사전 훈련된 다국어 BERT 모델의 성능 평가.
• 영역 특화 기능 엔지니어링 없이 BERT 기반 시퀀스 레이블링을 전통적인 기계학습 및 spaCy 기반 시스템과 비교.
• 훈련 데이터가 제한된 상황에서 모델의 강건성 평가, 특히 저자원 환경에서의 성능.
• 언어나 영역 특화 적응 없이도 일반 도메인 사전 훈련으로도 임상 텍스트 익명화에서 높은 성능 달성이 가능한지 확인.

제안 방법

• BIO 태깅을 사용하여 레이블이 부여된 스페인어 임상 텍스트에 대해 다국어 BERT base 모델을 피팅 튜닝하여 시퀀스 레이블링 수행.
• 추가적인 언어 특화 사전 훈련 없이 사전 훈련된 다국어 BERT 모델에서 전이 학습을 활용.
• 표준 NLP 평가 지표(정밀도, 재현율, F1)를 사용해 BERT 모델을 CRF, spaCy 및 규칙 기반 시스템과 비교.
• 점진적으로 훈련 데이터를 줄여가며 강건성 평가를 위한 분석 연구 수행.
• 공정한 비교를 위해 NUBES-PHI 및 MEDDOCAN 데이터셋 전반에 동일한 모델 아키텍처와 훈련 절차 적용.
• BERT 위에 CRF 레이어를 추가한 영향 평가를 수행했지만, 표준 BERT 피팅 튜닝 대비 유의미한 향상 없음.

실험 결과

연구 질문

• RQ1 일반 도메인 사전 훈련된 BERT 모델이 영역 특화 기능 엔지니어링 없이도 스페인어 임상 텍스트 익명화에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 스페인어 임상 텍스트에서 정밀도, 재현율, F1 점수 측면에서 BERT 기반 시퀀스 레이블링은 전통적인 CRF 및 spaCy 기반 시스템과 어떻게 비교되는가?
• RQ3 민감 정보 탐지 맥락에서 BERT 모델은 훈련 데이터가 감소할 경우 얼마나 강건한가?
• RQ4 왜 BERT 모델은 다른 시스템보다 높은 재현율을 보이며, 이는 개인정보 보호를 위한 데이터 익명화에 어떤 의미를 갖는가?

주요 결과

• BERT 기반 모델은 NUBES-PHI 데이터셋에서 F1 점수 기준으로 가장 높은 성능 기록하며, CRF 및 spaCy 기반 베이스라인을 모두 앞서갔다.
• NUBES-PHI 데이터셋에서 BERT 모델은 F1 점수 0.89를 기록했으며, 재현율은 0.91로 다음으로 우수한 시스템보다 유의미하게 높았다.
• 훈련 데이터를 230개의 인스턴스로 줄였을 때 BERT 모델은 F1 점수로 7포인트만 감소시켜 데이터 부족 상황에서도 강건성을 입증했다.
• MEDDOCAN 데이터셋에서 BERT 모델은 F1 점수 0.88을 기록했으며, 공동 과제 우승 시스템에 비해 0.3포인트 뒤져서 경쟁에서 2위를 기록했을 것이다.
• 다국어 BERT 모델을 사용했음에도 불구하고, Mao와 Liu(2019)가 보고한 BERT+CRF 모델보다 성능이 뛰어나, 구현 방식이나 하이퍼파라미터 튜닝의 차이가 성능 격차를 설명할 수 있다.
• BERT 모델의 높은 재현율은 민감 정보를 놓치는 것이 비민감 텍스트를 과도하게 익명화하는 것보다 더 해로운 개인정보 보호 응용 분야에서의 강력한 적합성을 시사한다.