[논문 리뷰] Training without training data: Improving the generalizability of automated medical abbreviation disambiguation

Marta Skreta, Aryan Arbabi외 2명|arXiv (Cornell University)|2019. 12. 12.

Biomedical Text Mining and Ontologies참고 문헌 8인용 수 5

한 줄 요약

이 논문은 레이블이 부여된 훈련 데이터가 비용이 많이 들기 때문에, 생물의학 온톨로지(UMLS)와 글로벌 컨텍스트 모델링을 활용한 데이터 증강 기법을 제안하여 의료 약어의 의미 해소 성능을 향상시킨다. 관련 의료 개념과 문서 수준의 컨텍스트를 통합함으로써, CASI에서는 14% 향상, i2b2에서는 4% 향상하여 인간의 주석이 최소한인 다양한 데이터셋 간 일반화 능력을 크게 향상시킨다.

ABSTRACT

Abbreviation disambiguation is important for automated clinical note processing due to the frequent use of abbreviations in clinical settings. Current models for automated abbreviation disambiguation are restricted by the scarcity and imbalance of labeled training data, decreasing their generalizability to orthogonal sources. In this work we propose a novel data augmentation technique that utilizes information from related medical concepts, which improves our model's ability to generalize. Furthermore, we show that incorporating the global context information within the whole medical note (in addition to the traditional local context window), can significantly improve the model's representation for abbreviations. We train our model on a public dataset (MIMIC III) and test its performance on datasets from different sources (CASI, i2b2). Together, these two techniques boost the accuracy of abbreviation disambiguation by almost 14% on the CASI dataset and 4% on i2b2.

연구 동기 및 목표

• 의료 약어 의미 해소에서 레이블이 부여된 훈련 데이터의 부족성과 불균형 문제를 해결하기 위해.
• 수동 주석이 부여된 코퍼스에 의존도를 줄임으로써, 서로 다른 임상 데이터셋 간 모델의 일반화 능력을 향상시키기 위해.
• UMLS에서의 사전 의료 지식 통합을 통해 희귀하거나 미리보지 못한 약어의 표현을 향상시키기 위해.
• 국소적 컨텍스트 창문을 넘어서 글로벌 문서 수준의 컨텍스트가 의미 해소 성능에 미치는 영향을 조사하기 위해.
• 수천 개의 약어를 실생활 임상 텍스트에 적용 가능한 확장 가능한, 주석이 없는 방법을 개발하기 위해.

제안 방법

• 희귀하거나 빈도가 낮은 약어의 훈련 데이터에 관련된 의료 개념을 식별하고 통합하기 위해 통합 의료 언어 시스템(UMLS)을 활용한다.
• 비정형 임상 노트에서 전체 형태를 레이블로 사용하여, 역치환(RS)을 적용해 합성 훈련 예제를 생성한다.
• 반복 샘플링과 개념 증강을 통해 클래스 분포를 균형 잡고, 낮은 빈도의 전개 형태 표현을 향상시킨다.
• 국소 창문 컨텍스트와 글로벌 문서 수준 컨텍스트를 결합하여 컨텍스트 모델링을 확장하고, 임bedding 표현을 풍부하게 한다.
• MIMIC-III 데이터에서 딥 러닝 모델을 훈련하고, 독립된 데이터셋(CASI, i2b2)에서 평가하여 일반화 능력을 평가한다.
• 문서 컬렉션에서의 TF-IDF 가중 단어를 사용해 컨텍스트 표현을 정보화하여, 약어에 대한 주제 인식 임베딩을 향상시킨다.

실험 결과

연구 질문

• RQ1 생물의학 온톨로지인 UMLS를 활용하면 데이터 증강된 의미 해소 모델에서 희귀하거나 미리보지 못한 의료 약어의 표현을 향상시킬 수 있는가?
• RQ2 국소 컨텍스트만을 고려하는 것과 비교해 글로벌 문서 수준 컨텍스트를 통합하면 의미 해소 성능이 유의미하게 향상되는가?
• RQ3 레이블이 없는 추가 데이터 없이, 한 데이터셋(MIMIC-III)에서 훈련된 모델이 관련이 없는 다른 데이터셋(CASI, i2b2)으로 일반화할 수 있는 정도는 어느 정도인가?
• RQ4 UMLS를 통한 개념 수준의 증강은 역치환을 통해 생성된 합성 훈련 데이터의 균형과 품질에 어떤 영향을 미치는가?
• RQ5 완전히 자동화되고 주석이 없는 방법이 CASI 및 i2b2와 같은 벤치마크 데이터셋에서 상당한 성능 향상을 이룰 수 있는가?

주요 결과

• 제안된 방법은 기준 모델 대비 CASI 데이터셋에서 매크로 정확도를 14%p 향상시켜 62.1%에서 76.0%로 상승시켰다.
• i2b2 데이터셋에서는 매크로 정확도가 4%p 향상되어 68.9%에서 72.9%로 상승하여, 서로 다른 데이터셋으로의 일반화 능력이 뛰어나다는 것을 입증했다.
• 훈련 코퍼스에서 빈도가 낮거나 존재하지 않는 전개 형태를 가진 약어, 예를 들어 'na'(Narcotics Anonymous)와 같은 경우, 성능 향상이 75%에 달했다.
• 글로벌 컨텍스트를 통합함으로써 CASI에서는 성능이 3.1%p 향상되었고, i2b2에서는 4.0%p 향상되어 표현 학습에서의 가치를 확인했다.
• Full + global 모델은 CASI에서 기준 모델보다 유의미하게 높은 성능을 보였으며(p < 5e-7), i2b2에서는 기준 모델보다 유의미하게 높은 성능을 보였다(p = 6e-11), Wilcoxon 부호 순위 검정을 통해 통계적 유의성 확인됨.
• 수천 개의 약어로도 효과적으로 확장 가능함을 입증하였으며, i2b2에서의 403개 약어 테스트 세트를 통해 수동 레이블링 없이도 성능 향상을 달성했다.