[논문 리뷰] Retrofitting Concept Vector Representations of Medical Concepts to Improve Estimates of Semantic Similarity and Relatedness

Zhiguo Yu, Byron Wallace외 2명|PubMed|2017. 09. 21.

Biomedical Text Mining and Ontologies참고 문헌 13인용 수 18

한 줄 요약

이 논문은 UMLS 메타테사우루스의 구조적 지식을 분포적 개념 벡터에 통합하여 생물의학 분야에서 의미적 유사도 및 관련성 추정을 향상시키는 리트로핏 기법을 제안한다. UMLS 관계에 벡터 표현을 정렬함으로써 UMNSRS 기준에서 인간 평가와의 상관관계를 크게 향상시켜 이전의 최고 성능 기법들을 능가한다.

ABSTRACT

Estimation of semantic similarity and relatedness between biomedical concepts has utility for many informatics applications. Automated methods fall into two categories: methods based on distributional statistics drawn from text corpora, and methods using the structure of existing knowledge resources. Methods in the former category disregard taxonomic structure, while those in the latter fail to consider semantically relevant empirical information. In this paper, we present a method that retrofits distributional context vector representations of biomedical concepts using structural information from the UMLS Metathesaurus, such that the similarity between vector representations of linked concepts is augmented. We evaluated it on the UMNSRS benchmark. Our results demonstrate that retrofitting of concept vector representations leads to better correlation with human raters for both similarity and relatedness, surpassing the best results reported to date. They also demonstrate a clear improvement in performance on this reference standard for retrofitted vector representations, as compared to those without retrofitting.

연구 동기 및 목표

• 분포적 벡터 모델이 생물의학 개념의 분류 구조를 포착하는 데에 한계가 있다는 문제를 해결하기 위해.
• 사전에 학습된 개념 임베딩에 UMLS 메타테사우루스의 구조적 지식을 통합하기 위해.
• 벡터 표현의 인간이 평가한 의미적 유사도 및 관련성 판단과의 일치도를 향상시키기 위해.
• 생물의학 개념 유사도 평가를 위한 표준 UMNSRS 벤치마크에서 리트로핏의 효과를 평가하기 위해.
• 분포적 통계와 지식 그래프의 구조를 조합함으로써 의미 표현의 품질을 향상시킬 수 있음을 보여주기 위해.

제안 방법

• 사전에 학습된 생물의학 개념의 분포적 맥락 벡터를 UMLS 메타테사우루스를 활용해 구조적 관계 자료로 리트로핏한다.
• 각 개념의 벡터를 메타테사우루스 내에서 의미적으로 연결된 이웃들과 더 유사하도록 조정하는 가중 평균 과정을 적용한다.
• 원본 벡터와 이웃 벡터 평균의 선형 조합을 사용하며, 학습 가능한 가중치 파rameter를 활용한다.
• 원래의 분포적 의미를 유지하면서 UMLS의 계층적 및 관계적 구조를 통합한다.
• 최종적으로 인간 평가 기준에서의 유사도 추정 향상을 위해 벡터를 최적화한다.
• 해당 접근법은 인간이 평가한 유사도 및 관련성 점수를 제공하는 UMNSRS 데이터셋을 사용해 평가된다.

실험 결과

연구 질문

• RQ1 UMLS 메타테사우루스의 구조를 활용해 분포적 개념 벡터를 리트로핏하면 의미적 유사도 추정이 향상되는가?
• RQ2 생물의학 지식 그래프의 구조적 지식을 통합함으로써 분포적 모델을 넘어서 관련성 추정이 향상되는가?
• RQ3 UMNSRS 벤치마크에서 리트로핏된 벡터의 성능은 최고 수준의 기존 방법들과 비교해 어떻게 되는가?
• RQ4 어느 정도의 어휘적 및 구조적 정보 통합이 인간 평가와의 일치도 향상에 기여하는가?
• RQ5 리트로핏된 벡터를 사용할 경우 인간 평가자와의 상관계수에 측정 가능한 향상이 있는가?

주요 결과

• 리트로핏 방법은 이전에 보고된 어떤 방법보다도 UMNSRS 벤치마크에서 인간 평가자와의 상관계수를 더 높게 달성한다.
• 이 방법은 의미적 유사도 및 관련성 추정 모두를 크게 향상시켜 지금까지 보고된 최고의 성능을 초월한다.
• 표준 UMNSRS 평가 세트에서 리트로핏된 벡터는 비리트로핏된 벡터보다 뚜렷한 성능 향상을 보인다.
• 이 방법은 경험적 분포적 통계를 기각하지 않으면서도 UMLS의 구조적 지식을 분포적 벡터에 효과적으로 통합한다.
• 결과는 분포적 정보와 구조적 정보를 조합함으로써 생물의학 분야에서 더 정확하고 인간과 일치하는 의미 표현이 가능하다는 것을 보여준다.
• 향상 효과는 유사도 및 관련성 작업 모두에서 일관되게 나타나, 이 접근법의 광범위한 효과성을 시사한다.