[논문 리뷰] Biomedical Entity Representations with Synonym Marginalization

Mujeen Sung, Hwisang Jeon외 2명|arXiv (Cornell University)|2020. 05. 01.

Topic Modeling참고 문헌 39인용 수 7

한 줄 요약

이 논문은 생물의학적 엔티티 표현을 학습하기 위한 새로운 프레임워크인 BioSyn을 제안한다. 이는 실제 엔티티 동의어가 상위 후보 예측에 포함될 확률을 최대화함으로써 명시적인 음성 샘플링 없이도 학습을 수행한다. 모델 예측 기반으로 후보 집합을 반복적으로 개선함으로써 BioSyn은 네 개의 생물의학적 엔티티 정규화 데이터셋에서 최신 기술 수준의 성능을 달성하며, 상위 1개 정확도를 최대 2.6% 향상시키고 각 데이터셋에서 성능 상한선에 가까운 성능을 기록한다.

ABSTRACT

Biomedical named entities often play important roles in many biomedical text mining tools. However, due to the incompleteness of provided synonyms and numerous variations in their surface forms, normalization of biomedical entities is very challenging. In this paper, we focus on learning representations of biomedical entities solely based on the synonyms of entities. To learn from the incomplete synonyms, we use a model-based candidate selection and maximize the marginal likelihood of the synonyms present in top candidates. Our model-based candidates are iteratively updated to contain more difficult negative samples as our model evolves. In this way, we avoid the explicit pre-selection of negative samples from more than 400K candidates. On four biomedical entity normalization datasets having three different entity types (disease, chemical, adverse reaction), our model BioSyn consistently outperforms previous state-of-the-art models almost reaching the upper bound on each dataset.

연구 동기 및 목표

• 동의어 변동성과 불완전한 동의어 집합으로 인한 생물의학적 엔티티 정규화 과제를 해결하기 위해.
• 대량의 후보 풀에서 명시적인 음성 샘플링이 필요 없도록 엔티티 표현 학습에서 이를 제거하기 위해.
• 모델 예측 기반으로 후보 집합을 반복적으로 개선하여 표현 품질을 향상시키기 위해.
• 다양한 생물의학적 엔티티 정규화 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• BioSyn은 입력 멘션과 사전에 등재된 동의어를 동일한 벡터 공간에 매핑하기 위해 공유 인코더를 사용한다.
• 모든 진짜 동의어가 상위-k 예측 후보에 포함될 가능성을 최대화함으로써 동의어 마진화를 적용한다.
• 모델은 형태학적 및 의미적 특징을 모두 포괄하기 위해 희소 및 밀집 표현을 모두 활용한다.
• 학습 중에 모델 예측을 기반으로 후보들이 반복적으로 업데이트되며, 학습이 진행됨에 따라 더 어려운 음성 예측에 집중한다.
• 모델 기반의 후보 선택에 의존함으로써 명시적인 음성 샘플링을 피함으로써 계산 비용을 감소시키고 안정성을 향상시킨다.
• 컨텍스트 기반 생물의학 표현을 활용하기 위해 사전 학습된 BioBERT를 공유 인코더로 미세조정한다.

실험 결과

연구 질문

• RQ1 명시적인 음성 샘플링 없이도 동의어 마진화가 생물의학적 엔티티 표현 학습에 기여할 수 있는가?
• RQ2 모델 예측 기반의 반복적 후보 선택이 엔티티 정규화 성능에 어떤 영향을 미치는가?
• RQ3 동의어 기반 표현 모델이 생물의학적 엔티티 정규화에서 성능 상한선에 얼마나 가까이 다가설 수 있는가?
• RQ4 제안된 방법이 질병, 화학물질, 부작용과 같은 다양한 생물의학적 엔티티 유형에 일반화되는가?

주요 결과

• BioSyn은 네 개의 생물의학적 엔티티 정규화 데이터셋에서 새로운 최신 기술 수준의 성능을 달성하며, 이전 모델 대비 상위 1개 정확도를 0.8%에서 2.6%까지 향상시켰다.
• 각 데이터셋에서 모델의 성능은 이론적 상한선에 매우 가까워, 거의 최적의 정규화 능력을 보였다.
• 반복적 후보 개선은 특히 어려운 음성 예측을 다룰 때 모델 성능을 크게 향상시켰다.
• 오류 분석 결과 대부분의 실패 원인은 애매한 애너테이션 또는 사전 처리의 한계에 기인했으며, 모델의 한계 때문이 아니었기 때문에 모델가 성능 상한선에 거의 도달했다는 것을 시사한다.
• 이 프레임워크는 질병, 화학물질, 부작용의 세 가지 다른 생물의학적 엔티티 유형 모두에서 효과적이었다.
• 이 방법은 강건하고 일반화 가능하며, 동의어 사전이 확보되어 있다면 다른 언어로도 적용 가능할 잠재력을 지닌다.