[논문 리뷰] Cross-lingual Candidate Search for Biomedical Concept Normalization

Roland Roller, Madeleine Kittner외 2명|arXiv (Cornell University)|2018. 05. 04.

Natural Language Processing Techniques참고 문헌 5인용 수 15

한 줄 요약

이 논문은 스페인어, 프랑스어, 네덜란드어, 독일어를 포함한 다국어 UMLS 용어 데이터셋을 기반으로 훈련된 문자 기반 신경 번역 모델을 사용하여 생물의학 개념 정규화를 위한 다국어 후보 검색 프레임워크를 제안한다. 비영어 UMLS에서 먼저 검색하고, 영어 UMLS에서 번역 없이 또는 번역 후 검색하는 순차적 검색 파이프라인에 모델을 통합함으로써 재현도와 F1 점수가 향상되며, CLEF eHealth 2015/2016 팀과 상용 번역기보다 프랑스어, 스페인어, 네덜란드어에서 뛰어난 성능을 보이며, 개인정보 보호가 중요한 임상 텍스트에 적합한 무료이고 로컬 배포가 가능한 솔루션을 제공한다.

ABSTRACT

Biomedical concept normalization links concept mentions in texts to a semantically equivalent concept in a biomedical knowledge base. This task is challenging as concepts can have different expressions in natural languages, e.g. paraphrases, which are not necessarily all present in the knowledge base. Concept normalization of non-English biomedical text is even more challenging as non-English resources tend to be much smaller and contain less synonyms. To overcome the limitations of non-English terminologies we propose a cross-lingual candidate search for concept normalization using a character-based neural translation model trained on a multilingual biomedical terminology. Our model is trained with Spanish, French, Dutch and German versions of UMLS. The evaluation of our model is carried out on the French Quaero corpus, showing that it outperforms most teams of CLEF eHealth 2015 and 2016. Additionally, we compare performance to commercial translators on Spanish, French, Dutch and German versions of Mantra. Our model performs similarly well, but is free of charge and can be run locally. This is particularly important for clinical NLP applications as medical documents underlay strict privacy restrictions.

연구 동기 및 목표

• UMLS와 같은 지식 기반에서 비영어 생물의학 용어의 커버리지가 낮아지는 문제를 해결함으로써 다국어 임상 텍스트에서의 개념 정규화를 향상시키기 위해.
• 임상 NLP에서 개인정보 보호 제약을 위반하는 상용 온라인 번역기 의존을 해결하기 위해 무료, 로컬, 오픈소스 대안을 개발하기 위해.
• 신경 번역을 통한 다국어 후보 검색을 가능하게 하여 비영어 생물의학 텍스트의 개념 정규화에서 재현도와 정밀도를 향상시키기 위해.
• 프랑스어 Quaero 및 Mantra 코퍼스에서 최신 기술 수준의 시스템과의 성능 비교를 통해 F1 점수와 재현도 측면에서 뛰어난 성능을 입증하기 위해.
• 환자 기록을 외부 번역 서비스에 전송하는 것에 제약이 있는 임상 환경에서의 배포를 가능하게 하기 위해.

제안 방법

• 스페인어, 프랑스어, 네덜란드어, 독일어를 포함한 다국어 UMLS 용어 데이터셋을 기반으로 문자 기반 신경 기계 번역 모델을 훈련한다.
• 순차적 후보 검색 파이프라인을 구현한다: (1) 비영어 UMLS에서 검색, (2) 번역 없이 영어 UMLS에서 검색, (3) 신경 모델을 사용해 용어를 번역한 후 영어 UMLS에서 검색.
• 개념 ID 빈도와 의미 유형 기반의 의미 해석 전략을 통해 임의의 양성 결과를 줄인다.
• 파이프라인에 신경 번역 모델을 통합하여 후보 확장을 위한 다국어 용어 번역을 생성한다.
• 표준 평가 지표(정밀도, 재현도, F1)를 사용해 프랑스어 Quaero 코퍼스와 Mantra 코퍼스에서 성능을 평가한다.
• 동일한 파이프라인 환경에서 Google 번역기와 Bing 번역기와의 직접 비교를 통해 신경 모델의 번역 품질을 평가한다.

실험 결과

연구 질문

• RQ1 다국어 UMLS 용어를 기반으로 훈련된 문자 기반 신경 번역 모델이 비영어 생물의학 개념 정규화에서 후보 재현도를 향상시킬 수 있는가?
• RQ2 다국어 번역을 순차적 후보 검색 파이프라인에 통합하면 비영어 코퍼스에서 단일 언어 및 번역 기반 접근 방식보다 우월한 성능을 내는가?
• RQ3 스페인어, 프랑스어, 네덜란드어, 독일어에서 제안된 신경 번역 모델의 성능은 Google, Bing 번역기와 비교해 정밀도, 재현도, F1 측면에서 어떻게 다른가?
• RQ4 UMLS 내 언어별 개념 수와 모델 성능 간 상관관계는 어느 정도인가?
• RQ5 모델은 로컬에서 배포 가능하며, 외부 번역 서비스에 의존하지 않고 개인정보 보호가 중요한 임상 NLP 응용 분야에서 사용할 수 있는가?

주요 결과

• 신경 번역 모델을 통합한 순차적 다국어 후보 검색 파이프라인이 CLEF eHealth 2015 및 2016에서 대부분의 팀보다 프랑스어 Quaero 코퍼스에서 뛰어난 성능을 보였다.
• Mantra 코퍼스에서 모델은 스페인어에 대해 Google 번역기와 Bing 번역기보다 높은 재현도와 F1 점수를 기록했으며, 정밀도는 유사했다.
• 프랑스어, 네덜란드어, 독일어에서는 모델의 정밀도와 재현도가 상용 번역기와 유사했지만, 로컬 배포 가능성이 장점으로 작용했다.
• 모델의 성능은 스페인어 > 프랑스어 > 독일어 > 네덜란드어 순서로 감소했으며, 이는 언어별 UMLS 개념 수와 상관관계가 있었다.
• 정밀도 역시 동일한 순서를 따르며, 상용 번역기는 독일어에서 가장 뛰어난 성능을 보였는데, 이는 언어별 번역 품질의 다양성을 시사한다.
• 시스템은 무료이며 오픈소스이며, 로컬에서 배포 가능하므로 개인정보 보호가 핵심인 임상 NLP 응용 분야에 적합하다.