[논문 리뷰] Deeper Clinical Document Understanding Using Relation Extraction

Hasham Ul Haq, Veysel Kocaman외 1명|arXiv (Cornell University)|2021. 12. 25.

Biomedical Text Mining and Ontologies인용 수 7

한 줄 요약

이 논문은 두 가지 신규 아키텍처를 사용하여 확장 가능한 임상 관계 추출(RE) 프레임워크를 제안한다: 속도 최적화된 완전 연결 신경망(FCNN)과 정확도 최적화된 BioBERT 기반 모델. 이 프레임워크는 i2b2 2012 시간관계 및 n2c2 포지올로지를 포함한 5개의 벤치마크 데이터셋에서 최신 기술 수준의 F1 스코어를 달성하였으며, 생물의학 지식 그래프 구축 및 개선된 임상 코드 부여와 같은 실용적 응용을 가능하게 한다.

ABSTRACT

The surging amount of biomedical literature & digital clinical records presents a growing need for text mining techniques that can not only identify but also semantically relate entities in unstructured data. In this paper we propose a text mining framework comprising of Named Entity Recognition (NER) and Relation Extraction (RE) models, which expands on previous work in three main ways. First, we introduce two new RE model architectures -- an accuracy-optimized one based on BioBERT and a speed-optimized one utilizing crafted features over a Fully Connected Neural Network (FCNN). Second, we evaluate both models on public benchmark datasets and obtain new state-of-the-art F1 scores on the 2012 i2b2 Clinical Temporal Relations challenge (F1 of 73.6, +1.2% over the previous SOTA), the 2010 i2b2 Clinical Relations challenge (F1 of 69.1, +1.2%), the 2019 Phenotype-Gene Relations dataset (F1 of 87.9, +8.5%), the 2012 Adverse Drug Events Drug-Reaction dataset (F1 of 90.0, +6.3%), and the 2018 n2c2 Posology Relations dataset (F1 of 96.7, +0.6%). Third, we show two practical applications of this framework -- for building a biomedical knowledge graph and for improving the accuracy of mapping entities to clinical codes. The system is built using the Spark NLP library which provides a production-grade, natively scalable, hardware-optimized, trainable & tunable NLP framework.

연구 동기 및 목표

• 비구조화된 임상 텍스트와 생물의학 문헌에서 의미적 관계 추출의 증가하는 필요성을 해결하기 위해.
• 실세계 임상 데이터 처리를 위한 실용적이고 확장 가능한 RE 모델을 개발하여 속도와 정확도의 균형을 이루기 위해.
• 엔티티 스팸에 맥락적 관계를 부여하여 임상 코드 부여 정확도를 향상시키기 위해.
• 환자 타임라인 생성 및 생물의학 지식 그래프 구축과 같은 실용적 응용을 가능하게 하기 위해.
• 관계 추출이 SNOMED, CPT, ICD-10 코드에 대한 엔티티 해상도 향상에 기여하는 효과를 입증하기 위해.

제안 방법

• RE 프레임워크는 엔티티 스팸을 식별하기 위해 명명된 개체 인식(NER)을 사용하며, 이후 관계 분류를 위해 쌍으로 조합된다.
• FCNN 모델은 각 엔티티 주변 100개 토큰에서 유도된 맥락 임베딩을 포함한 수작업 특징을 사용한다: 의미적 유사도, 문법적 거리, 의존성 파싱.
• 특징들이 연결되어 완전 연결 층을 거치며, Leaky ReLU 활성화 함수와 배치 정규화를 적용하고, 교차 엔트로피 손실을 사용하는 소프트맥스 층으로 종료된다.
• BioBERT 기반 모델은 사전 학습된 BioBERT에서의 전이 학습을 활용하여 임상 텍스트에서 관계 분류를 위한 엔드 투 엔드로 미세조정된다.
• 두 모델 모두 대규모 임상 데이터셋에서 하드웨어 최적화된 확장 가능한 추론을 위해 Apache Spark NLP에 구현되어 있다.
• 시스템은 다중 클래스 관계 분류를 지원하며, 여러 데이터셋에서 초모델 조정을 통해 공개 벤치마크에서 훈련된다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 모델에 비해 메모리 소비와 추론 시간을 크게 줄인 경량 FCNN 기반 RE 모델이 경쟁적인 성능을 달성할 수 있는가?
• RQ2 의존성 구조 및 의미적 유사성과 같은 맥락 특징을 통합할 경우, 임상 텍스트에서의 관계 분류 성능에 얼마나 큰 영향을 미치는가?
• RQ3 제안된 RE 프레임워크가 다양한 임상 관계 추출 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 관계로 풍부화된 엔티티 스팸은 SNOMED, CPT, ICD-10와 같은 임상 코드 시스템에 매핑할 때 정확도를 어떻게 향상시키는가?
• RQ5 이 프레임워크는 비구조화된 임상 노트에서 환자 타임라인 및 생물의학 지식 그래프를 효과적으로 구축하는 데 사용될 수 있는가?

주요 결과

• BioBERT 기반 RE 모델은 2012년 i2b2 임상 시간관계 벤치마크에서 최신 기술 수준의 F1 스코어 73.6을 달성하였으며, 이는 이전 최신 기술 수준보다 1.2% 향상된 결과이다.
• FCNN 모델은 2010년 i2b2 임상 관계 데이터셋에서 F1 스코어 69.1을 기록하였으며, 이는 이전 최신 기술 수준보다 1.2% 향상된 결과이다.
• 2019년 표현형-유전자 관계 데이터셋에서 BioBERT 모델은 F1 스코어 87.9를 기록하였으며, 이는 이전 최고 성능보다 8.5% 향상된 결과이다.
• 2012년 약물 부작용 약물 반응 데이터셋에서 모델은 F1 스코어 90.0을 기록하였으며, 이는 이전 최신 기술 수준보다 6.3% 향상된 결과이다.
• 2018년 n2c2 포지올로지 관계 데이터셋에서 모델은 F1 스코어 96.7을 기록하였으며, 이는 이전 최고 성능 모델보다 0.6% 향상된 결과이다.
• 예를 들어 'CT 스캔 흉부 (다중 슬라이스) 대조'와 같이 풍부화된 엔티티 스팸은 'CT 스캔'과 같은 기본 스팸에 비해 훨씬 더 정확한 CPT/SNOMED 코드(예: 71260 대비 3324F)를 제공한다.