[논문 리뷰] Biomedical and Clinical English Model Packages in the Stanza Python NLP Library

Yuhao Zhang, Yuhui Zhang외 3명|arXiv (Cornell University)|2020. 07. 29.

Topic Modeling참고 문헌 34인용 수 16

한 줄 요약

이 논문은 다양한 공개 및 대규모 생물의학 및 임상 텍스트 데이터셋을 기반으로 훈련된 완전히 신경망 기반 아키텍처를 활용하여 Stanza Python 라이브러리용 생물의학 및 임상 영문 NLP 모델 패키지를 소개한다. 이 모델들은 문법적 분석과 명명된 실체 인식(NER)에서 최신 기술 수준의 성능을 달성하며, Stanza의 네이티브 파이썬 인터페이스와의 원활한 통합을 통해 GPU 가속 기능을 활용할 경우 특히 빠른 속도를 유지한다.

ABSTRACT

We introduce biomedical and clinical English model packages for the Stanza Python NLP library. These packages offer accurate syntactic analysis and named entity recognition capabilities for biomedical and clinical text, by combining Stanza's fully neural architecture with a wide variety of open datasets as well as large-scale unsupervised biomedical and clinical text data. We show via extensive experiments that our packages achieve syntactic analysis and named entity recognition performance that is on par with or surpasses state-of-the-art results. We further show that these models do not compromise speed compared to existing toolkits when GPU acceleration is available, and are made easy to download and use with Stanza's Python interface. A demonstration of our packages is available at: http://stanza.run/bio.

연구 동기 및 목표

• 기존의 일반 목적 NLP 라이브러리에서 생물의학 및 임상 텍스트에 특화된 고성능, 접근 용이한 NLP 도구의 부족을 해결하기 위해.
• Stanza의 신경망 기반 NLP 파이프라인에 생물의학 및 임상 영문 텍스트를 위한 도메인 전용 모델을 추가하여, 문법적 파싱과 명명된 실체 인식의 정확도를 향상시키기 위해.
• 특히 GPU 가속을 사용할 경우 고속 처리를 유지하여 실세계 응용 프로그램에서의 실용성을 확보하기 위해.
• 연구자와 개발자가 최신 기술 수준의 생물의학 및 임상 NLP 모델에 쉽게 액세스하고 배포할 수 있도록 통합된 사용자 우수한 파이썬 인터페이스를 제공하기 위해.
• 방사선 검사 보고서를 포함한 전용 모델을 제공하여 연구 및 임상 텍스트 처리를 모두 지원하기 위해.

제안 방법

• 생물의학 및 임상 텍스트에서 Universal Dependencies v2 형식을 사용하여 완전히 신경망 기반의 문법적 분석 파이프라인(토크나이제이션, 품사 태깅, 어간 추출, 의존성 파싱)을 훈련시키기 위해.
• 공개된 트리뱅크인 CRAFT와 GENIA를 활용하고, 임상 문법 모델링을 위해 MIMIC-III 임상 데이터베이스에서 실버 표준 훈련 데이터를 생성하기 위해.
• 맥락 기반 표현을 사용하여 8개의 생물의학 NER 모델과 2개의 임상 NER 모델을 훈련시키며, 방사선 검사 보고서에 특화된 새로운 모델을 포함한다.
• 통합 인터페이스를 통해 기존 Stanza의 파이썬 NLP 프레임워크에 모델을 통합하여, 원시 텍스트와 사전 토크나이제이션된 입력을 모두 지원한다.
• 문자 시퀀스 기반 경량 순환 신경망을 통해 토크나이제이션과 문장 분할을 공동 모델링하기 위해.
• 일반적인(UPoS) 및 언어 고유의(XPos) 품사 태그 간 일관성을 향상시키기 위해 이중선형 스코어링 메커니즘을 적용하기 위해.

실험 결과

연구 질문

• RQ1 완전히 신경망 기반의 NLP 파이프라인이 생물의학 및 임상 텍스트의 문법적 분석과 명명된 실체 인식에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 Stanza의 생물의학 및 임상 모델은 정확도와 속도 측면에서 CoreNLP, scispaCy, BioBERT와 같은 기존 툴킷과 비교해 어떻게 성능를 보이는가?
• RQ3 GPU 가속이 CPU 전용 실행 대비 이론적 추론 속도 향상에 얼마나 기여하는가?
• RQ4 복잡한 설정 없이도 통합된 파이썬 인터페이스를 통해 쉽게 배포할 수 있는지 유지하면서도 높은 정확도를 유지를 할 수 있는가?
• RQ5 예를 들어 방사선 검사 보고서 전용 모델을 포함함으로써 임상 텍스트의 NER 성능이 상당히 향상되는가?

주요 결과

• Stanza의 생물의학 및 임상 모델 패키지는 벤치마크 데이터셋에서 최신 기술 수준의 성능을 기록하며, 문법적 분석과 NER 성능이 최신 기술 수준에 도달하거나 이를 초월한다.
• CRAFT 생물의학 NER 테스트 세트에서 기준 모델 대비 2.91 F1 포인트 향상되었고, 임상 JNLPBA 데이터셋에서는 1.94 F1 포인트 향상되었다.
• GPU 가속을 사용할 경우 Stanza의 문법적 분석 성능는 scispaCy와 유사하며, NER 모델은 BioBERT보다 훨씬 빠르게 동작한다. CPU 기준으로 14.8배 빠르고, GPU 기준으로는 scispaCy 대비 0.95배 빠르게 처리한다.
• GPU를 사용할 경우에도 높은 속도를 유지하며, 문법적 분석은 CPU 전용 추론 대비 1.42배 빠르고, NER는 scispaCy 대비 GPU 기준 0.95배 빠른 성능를 기록한다.
• tokenize_pretokenized 플래그를 통해 원시 텍스트와 사전 토크나이제이션된 입력을 모두 지원하여 외부 토크나이제이션 파이프라인과의 통합이 가능하다.
• 간단한 파이썬 인터페이스를 통해 모델를 쉽게 배포하고 사용할 수 있으며, stanza.download() 및 Pipeline() 등의 명령어를 통해 간편하게 활용할 수 있다.