[논문 리뷰] Learning Rare Word Representations using Semantic Bridging

Victor Prokhorov, Mohammad Taher Pilehvar외 3명|arXiv (Cornell University)|2017. 07. 24.

Topic Modeling참고 문헌 18인용 수 4

한 줄 요약

이 논문은 대규모 코퍼스에서 유도된 분포적 의미 공간과 WordNet과 같은 온톨로지에서 유래한 어휘 지식을 융합하여 희귀어 및 미등장어의 단어 임베딩 커버리지를 향상시키는 방법을 제안한다. 그래프 임베딩(DeepWalk/node2vec)과 다국어 벡터 공간 매핑(최소제곱, CCA)을 사용하여 지식 기반의 희귀어 표현을 코퍼스 기반의 벡터 공간으로 매핑함으로써, 어휘 커버리지가 99% 이상이며 희귀어 유사도 데이터셋에서 유사도 성능이 10%p 향상되는 결과를 도출한다.

ABSTRACT

We propose a methodology that adapts graph embedding techniques (DeepWalk (Perozzi et al., 2014) and node2vec (Grover and Leskovec, 2016)) as well as cross-lingual vector space mapping approaches (Least Squares and Canonical Correlation Analysis) in order to merge the corpus and ontological sources of lexical knowledge. We also perform comparative analysis of the used algorithms in order to identify the best combination for the proposed system. We then apply this to the task of enhancing the coverage of an existing word embedding's vocabulary with rare and unseen words. We show that our technique can provide considerable extra coverage (over 99%), leading to consistent performance gain (around 10% absolute gain is achieved with w2v-gn-500K cf.§3.3) on the Rare Word Similarity dataset.

연구 동기 및 목표

• 낮은 학습 빈도로 인해 단어 임베딩이 희귀어 및 미등장어를 표현하는 데 한계를 가진다는 문제를 해결하기 위해.
• 대규모 코퍼스에서 유도된 분포적 의미 공간과 온톨로지(예: WordNet)에서 유래한 구조화된 어휘 지식을 통합하기 위해.
• 지식 기반 임베딩을 코퍼스 임베딩 공간으로 매핑하는 전이 학습 프레임워크를 개발하기 위해.
• 희귀어 유사도를 평가하는 표준 벤치마크에서 이 방법의 효과성을 평가하기 위해.
• 낮은 품질의 임베딩 또는 매핑 기법을 사용할 경우에도 성능 향상이 이루어지는지 증명하기 위해.

제안 방법

• 심셋을 노드로, 의미 관계를 간선으로 간주하여 WordNet 3.0 지식 기반을 DeepWalk 및 node2vec를 사용해 저차원 벡터 공간으로 임베딩한다.
• 다국어 벡터 공간 매핑 기법(최소제곱, 캐논리컬 상관분석)을 적용하여 지식 기반 임베딩 공간을 코퍼스 기반 의미 공간(GloVe 또는 w2v-gn 등)과 정렬한다.
• MaxSim 가정을 적용하여 WordNet 내에서 단어의 가장 대표적인 심셋으로 매핑함으로써 단어 수준의 정렬을 가능하게 한다.
• 학습된 선형 매핑을 통해 지식 기반 공간의 희귀어 및 미등장어 벡터를 코퍼스 임베딩 공간으로 변환한다.
• 결과로 도출된 강화된 임베딩을 단어 유사도와 같은 후행 작업에 적용하여 성능 향상을 평가한다.
• GloVe, w2v-gn 등 다양한 임베딩 모델과 LS, CCA 등 다양한 매핑 기법의 조합을 비교하여 최적의 구성 요건을 규명한다.

실험 결과

연구 질문

• RQ1 지식 기반 임베딩이 코퍼스 기반 단어 임베딩과 효과적으로 정렬되어 희귀어 및 미등장어의 커버리지가 향상될 수 있는가?
• RQ2 그래프 임베딩(DeepWalk, node2vec)과 벡터 공간 매핑(LS, CCA) 기법의 조합 중 어느 것이 희귀어 표현에 가장 높은 성능을 낼 수 있는가?
• RQ3 WordNet에서의 어휘 강화가 Rare Word Similarity 데이터셋에서 성능 향상에 어느 정도 기여하는가?
• RQ4 다양한 사전 학습된 임베딩에서 제안된 방법을 사용할 경우 성능 향상이 통계적으로 유의미한가?
• RQ5 이 방법을 역방향으로 적용하여 분포적 코퍼스 정보를 이용해 지식 기반을 강화할 수 있는가?

주요 결과

• 제안된 방법은 WordNet의 희귀어를 활용해 Rare Word Similarity 데이터셋에서 어휘 커버리지가 99% 이상을 달성한다.
• w2v-gn-500K 모델은 강화 후 스피어만 상관계수에서 0.42에서 0.44로 10%p의 절대적 성능 향상을 보였으며, 가장 큰 성과 향상을 기록했다.
• 모든 테스트된 임베딩(w2v-gn, w2v-gn-500K, GloVe)이 강화 후 피어슨 및 스피어만 상관계수 모두에서 일관된 성능 향상을 보였다.
• 일측 t-검정 결과, 성능 향상은 통계적으로 유의미했으며(p < 0.05), 다양한 구성 조건에서도 안정성을 입증했다.
• 형태소 구조가 없는 단일형태소 희귀어에 대해서도 효과적으로 임베딩을 유도하여 형태소 조합 모델의 한계를 극복했다.
• 낮은 품질의 지식 기반 임베딩 또는 매핑 기법을 사용할 경우에도 성능 향상이 유지되어 일반화 가능성과 내구성을 입증했다.