[논문 리뷰] Vector Embedding of Wikipedia Concepts and Entities

Ehsan Sherkat, Evangelos Milios|arXiv (Cornell University)|2017. 02. 12.

Topic Modeling참고 문헌 14인용 수 9

한 줄 요약

이 논문은 위키백과의 링크 구조와 내용을 활용하여 비밀도가 높고 맥락에 민감한 임베딩을 생성하는 딥러닝 기반의 저차원 벡터 표현 학습 방법인 ConVec를 제안한다. 이 방법은 개념 유사성 및 유사도 작업에서 최신 기술 수준 또는 그에 준하는 성능을 달성하며, 고품질의 개념 임베딩을 위해 코퍼스의 품질이 크기보다 더 중요하다는 것을 입증한다.

ABSTRACT

Using deep learning for different machine learning tasks such as image classification and word embedding has recently gained many attentions. Its appealing performance reported across specific Natural Language Processing (NLP) tasks in comparison with other approaches is the reason for its popularity. Word embedding is the task of mapping words or phrases to a low dimensional numerical vector. In this paper, we use deep learning to embed Wikipedia Concepts and Entities. The English version of Wikipedia contains more than five million pages, which suggest its capability to cover many English Entities, Phrases, and Concepts. Each Wikipedia page is considered as a concept. Some concepts correspond to entities, such as a person's name, an organization or a place. Contrary to word embedding, Wikipedia Concepts Embedding is not ambiguous, so there are different vectors for concepts with similar surface form but different mentions. We proposed several approaches and evaluated their performance based on Concept Analogy and Concept Similarity tasks. The results show that proposed approaches have the performance comparable and in some cases even higher than the state-of-the-art methods.

연구 동기 및 목표

• 기존의 단어 임베딩과 달리 모호하지 않은, 밀집된 백터 표현을 학습할 수 있는 위키백과 개념과 실체에 대한 방법을 개발하는 것.
• 더 작은 고품질 코퍼스가 더 큰 노이즈가 많은 코퍼스보다 더 나은 개념 임베딩을 제공하는지 평가하는 것.
• 특히 위키백과의 앵커 링크와 히우리스틱 디스앱리게이션 전략을 사용하는 다양한 임베딩 전략의 성능을 표준 벤치마크 작업에서 비교하는 것.
• 사전 학습된 단어 벡터가 개념 임베딩 모델의 미세조정에 어떤 영향을 미치는지 조사하는 것.
• 연구 목적을 위해 공개할 수 있는 대규모이고 고카버리지의 위키백과 개념 및 단어 벡터 세트를 제공하는 것.

제안 방법

• 모델은 스위프그램과 음성 샘플링(Word2Vec 유사) 기반의 딥러닝 프레임워크를 사용하여 텍스트적 맥락에서 위키백과 개념의 벡터 표현을 학습한다.
• 각 위키백과 페이지는 고유한 개념으로 간주되며, 주변 단어와 앵커 링크(다른 위키백과 페이지로의 하이퍼링크)로부터 임베딩이 학습된다.
• 히우리스틱 디스앱리게이션 전략은 모호한 단어를 가장 빈번한 위키백과 개념으로 매핑하여 정확도를 유지하면서도 커버리지를 높인다.
• 모델은 21억 토큰의 위키백과 덤프에서 학습되며, 성능 향상을 위해 더 큰 코퍼스에서 사전 학습된 단어 벡터로 초기화된다.
• 이 방법은 단어와 개념을 위한 통합된 벡터 공간을 지원하여 공동의 의미 분석을 가능하게 한다.
• 모델의 변종은 주변 텍스트 없이 앵커 링크만을 사용하여 링크 구조 자체의 기여도를 평가한다.

실험 결과

연구 질문

• RQ1 더 작은 고품질의 위키백과 코퍼스를 사용할 경우, 더 큰 노이즈가 많은 코퍼스를 사용하는 것보다 더 나은 개념 임베딩을 얻을 수 있는가?
• RQ2 단어의 다양한 의미가 별개의 벡터로 표현되는 비모호한 개념 임베딩은 아날로지 및 유사도와 같은 NLP 작업에서 성능 향상에 기여하는가?
• RQ3 사전 학습된 단어 벡터를 사용한 미세조정이 위키백과 개념 임베딩의 품질에 어떤 영향을 미치는가?
• RQ4 텍스트적 맥락에 비해 위키백과의 링크 구조(앵커)가 효과적인 개념 표현에 얼마나 기여하는가?
• RQ5 히우리스틱 디스앱리게이션은 성능 저하 없이 개념 임베딩의 커버리지를 향상시킬 수 있는가?

주요 결과

• ConVec 모델은 WS-SIM 데이터셋에서 스피어만 상관계수 0.7596을 기록하며 개념 아날로지 작업에서 최신 기술 수준 또는 그에 준하는 성능을 달성했다.
• 표현어 유사도 작업에서 히우리스틱 디스앱리게이션을 적용한 ConVec 모델은 모든 데이터셋 평균 스피어만 상관계수 0.5054를 기록하며 여러 베이스라인을 능가했다.
• Google의 1000억 토큰 Freebase 데이터셋보다 작은 21억 토큰의 위키백과 덤프에서 학습된 모델이 더 큰 코퍼스를 초월해 성능을 냈으며, 이는 코퍼스의 품질이 크기보다 더 중요하다는 것을 입증한다.
• 히우리스틱 디스앱리게이션 방법은 성능 손실를 최소화하면서도 커버리지를 높여, 정확도를 유지하면서도 스케일업이 가능하다는 것을 보여주었다.
• 주변 텍스트 없이 앵커 링크만을 사용하는 ConVec의 변종은 전체 맥락 모델보다 평균적으로 성능이 열 劣하였으며, 이는 텍스트적 맥락이 링크 구조만으로는 더 정보가 많다는 것을 시사한다.
• 모델의 성능는 위키백과 마이너 및 히츠림과 같은 구조 기반 방법과 유사하여, 위키백과의 링크 기반 의미 구조를 효과적으로 포착하고 있음을 확인했다.