[논문 리뷰] Spanish Biomedical and Clinical Language Embeddings

Asier Gutiérrez-Fandiño, Jordi Armengol-Estapé외 4명|arXiv (Cornell University)|2021. 02. 25.

Natural Language Processing Techniques참고 문헌 5인용 수 5

한 줄 요약

이 논문은 대규모 정제된 코퍼스를 기반으로 하여 서브워드(BPE) 토크나이제이션을 사용한 FastText를 활용해 새로운 스페인어 생물의학 및 임상 언어 임베딩을 소개한다. PharmaCoNER 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 대소문자 구분 검증 세트에서 90.91%의 정확도와 테스트 세트에서 89.40%의 정확도를 기록하였다. 스킵그램 임베딩을 사용한 결과, 더 큰 도메인 전용 데이터를 통해 표현 학습이 향상됨을 입증하였다.

ABSTRACT

We computed both Word and Sub-word Embeddings using FastText. For Sub-word embeddings we selected Byte Pair Encoding (BPE) algorithm to represent the sub-words. We evaluated the Biomedical Word Embeddings obtaining better results than previous versions showing the implication that with more data, we obtain better representations.

연구 동기 및 목표

• 데이터 민감성으로 인해 고품질 스페인어 생물의학 및 임상 NLP 자원의 부족 문제를 해결하기 위해.
• 스페인어 의료 텍스트를 위한 강력하고 공개 가능한 단어 및 서브워드 임베딩을 개발하기 위해.
• 더 큰 정제된 코퍼스를 통해 저자원 의료 NLP 시나리오에서의 표현 학습을 향상시키기 위해.
• 표준화된 벤치마크에서 임베딩을 평가하여 성능 향상 여부를 입증하기 위해.
• NLP 및 생물의학 AI 공동체를 위해 임베딩을 오픈 액세스 자원으로 공개하기 위해.

제안 방법

• PubMed, Scielo, EMEA, 특허, 웹 크롤링을 통한 의료 텍스트 등 다양한 출처에서 구성한 대규모 생물의학 코퍼스(11억 토큰)를 구축하였다.
• 특수 케이스 보고서(코로나19 및 뇌졸중 케이스 포함)에서 구성한 전문화된 임상 코퍼스(150만 토큰)를 구축하였다.
• 형식 변환, 문장 분할, 언어 감지, 노이즈 필터링, 중복 제거 및 문서 경계 보존을 포함한 다단계 정제 파이프라인을 적용하였다.
• 50, 100, 300 차원을 사용한 CBOW 및 스킵그램 아키텍처를 활용해 FastText 단어 및 서브워드 임베딩을 생성하였다.
• 서브워드 형태학을 모델링하기 위해 10,000(생물의학용) 및 8,000(임상용) 어휘 크기를 가진 바이트 페어 인코딩(BPE)을 사용하였다.
• 희귀어로 인한 개인정보 泄露 위험을 줄이기 위해 임상 임베딩의 단어 빈도 기준을 4로 설정하였다.

실험 결과

연구 질문

• RQ1 더 큰 도메인 전용 스페인어 코퍼스는 생물의학 및 임상 단어 임베딩의 품질을 향상시킬 수 있는가?
• RQ2 스페인어 의료 NLP 작업에서 서브워드(BPE) 임베딩은 표준 단어 임베딩보다 어떻게 비교되는가?
• RQ3 제안된 임베딩은 표준화된 벤치마크에서 이전 버전을 얼마나 뛰어넘는가?
• RQ4 민감한 임상 데이터에서 학습된 임베딩는 개인정보 泄露를 최소화하면서도 기능성을 유지할 수 있는가?
• RQ5 대소문자 구분 처리와 대소문자 미구분 처리는 스페인어 의료 NLP에서 성능에 어떤 영향을 미치는가?

주요 결과

• v3.0 생물의학 단어 임베딩는 스킵그램 방법을 사용해 대소문자 구분 검증 세트에서 90.91%의 정확도, 테스트 세트에서 89.40%의 정확도를 기록하였다.
• 대소문자 미구분 버전은 스킵그램을 사용해 검증 세트에서 89.97%의 정확도, 테스트 세트에서 89.66%의 정확도를 기록하여 강력한 일반화 능력을 보였다.
• 이전 버전(v1.0 및 v2.0)에 비해 성능이 크게 향상되어 더 큰 다각도의 코퍼스가 유의미한 이점이 있음을 확인하였다.
• 생물의학 코퍼스(11억 토큰)는 발표 당시까지 가용한 가장 큰 스페인어 생물의학 코퍼스였다.
• 임상 임베딩는 민감한 정보 폭로 위험을 줄이기 위해 더 높은 단어 빈도 기준(4)을 적용하여 학습하였다.
• 모든 임베딩는 공개 사용을 위해 Zenodo에 오픈 액세스 자원으로 공개되었다.