[논문 리뷰] SeVeN: Augmenting Word Embeddings with Unsupervised Relation Vectors

Luis Espinosa-Anke, Steven Schockaert|ORCA Online Research @Cardiff (Cardiff University)|2018. 08. 18.

Topic Modeling참고 문헌 35인용 수 5

한 줄 요약

SeVeN는 사전에 트레이닝된 워드 임베딩에 비지도 학습된 관계 벡터를 통합하는 하이브리드 프레임워크를 제안한다. 이 관계 벡터는 단어 벡터 평균화와 고유한 오토에인코더를 통해 학습되며, 관계 지식을 분리한다. 이 방법은 표준 워드 임베딩을 넘어서 추상적인 관계 패턴을 포착함으로써 워드 유사도 및 텍스트 분류 작업에서 성능을 향상시키며, 20차원 관계 벡터가 벤치마크 전반에서 최고의 성능을 기록한다.

ABSTRACT

We present SeVeN (Semantic Vector Networks), a hybrid resource that encodes relationships between words in the form of a graph. Different from traditional semantic networks, these relations are represented as vectors in a continuous vector space. We propose a simple pipeline for learning such relation vectors, which is based on word vector averaging in combination with an ad hoc autoencoder. We show that by explicitly encoding relational information in a dedicated vector space we can capture aspects of word meaning that are complementary to what is captured by word embeddings. For example, by examining clusters of relation vectors, we observe that relational similarities can be identified at a more abstract level than with traditional word vector differences. Finally, we test the effectiveness of semantic vector networks in two tasks: measuring word similarity and neural text categorization. SeVeN is available at bitbucket.org/luisespinosa/seven.

연구 동기 및 목표

• 워드 임베딩이 의미 유사도를 초월한 관계 지식을 포착하는 데에 한계가 있음을 해결하기 위해.
• 정서 네트워크의 이산 레이블보다 더 표현력이 뛰어난 연속적인, 벡터 기반의 단어 간 관계 표현을 개발하기 위해.
• 코퍼스 기반 공출현 패턴에서 속성적이고 맥락적인 노이즈로부터 관계 지식을 분리하기 위해.
• 워드 유사도 및 텍스트 분류와 같은 후행 NLP 작업에서 관계 벡터의 유용성을 평가하기 위해.
• 관계 벡터가 단어 벡터 차이에서 드러나지 않는 추상적인 관계 유사성을 포착할 수 있는지 탐색하기 위해.

제안 방법

• 쌍(a, b)에 포함된 단어들의 문장에서 단어 벡터를 평균화하여 초기 관계 벡터를 구성함으로써 고차원 벡터를 생성한다.
• 관계 벡터와 단어 a, b의 개별 단어 벡터의 조합에서 디코딩하는 고유한 오토에인코더를 적용하여 원래 맥락을 재구성하고자 한다.
• 오토에인코더의 학습된 잠재 표현을 순수화된 관계 벡터로 사용하여 비관계적 특성들을 제거한다.
• PMI 점수 기반 상위 이웃 관계 벡터와 함께 관계 벡터를 단어 표현에 통합하여 벡터를 결합한다.
• 모델 아키텍처에 변경 없이 표준 신경망 아키텍처를 사용하여 텍스트 분류에 통합된 벡터 표현을 활용한다.
• 재구성 오차를 최소화하도록 오토에인코더를 엔드 투 엔드로 훈련하여 관계 정보를 유지하면서 단어 특화 및 노이즈 특성을 제거한다.

실험 결과

연구 질문

• RQ1 비지도 학습된 관계 벡터는 표준 워드 임베딩와 보완적인 관계 지식을 포착할 수 있는가?
• RQ2 텍스트 내 공출현 패턴에서 유도된 관계 벡터는 개별 단어 속성 초월해 추상적인 관계 유사성을 반영하는가?
• RQ3 관계 벡터는 워드 유사도 및 텍스트 분류와 같은 후행 NLP 작업에서 성능 향상에 기여하는가?
• RQ4 관계 벡터의 차원 수가 이러한 작업에서 성능에 미치는 영향은 어떠한가?
• RQ5 관계 벡터는 벡터 이동 방법보다 대칭적 또는 복잡한 다대다 관계를 더 효과적으로 모델링할 수 있는가?

주요 결과

• 20차원 관계 벡터는 모든 텍스트 분류 벤치마크에서 최고의 성능을 기록했으며, 모든 경우에서 베이스라인을 뛰어나거나 동등하게 유지했다.
• 20news 데이터셋에서 SeVeN의 20rv는 F1 스코어 0.89를 기록했으며, 베이스라인의 0.86보다 높아 일관된 향상을 보였다.
• reuters-r56 데이터셋에서는 20rv 설정이 F1 스코어 0.90을 기록했으며, 베이스라인의 0.86보다 뚜렷한 성과 향상을 보였다.
• pol.05 데이터셋에서는 20rv가 가장 뚜렷한 향상을 보였으며, F1 스코어 0.59를 기록했고, 베이스라인의 0.54보다 높았다.
• 관계 벡터는 차이 벡터가 주로 단어 속성 유사성을 반영하는 데 반해, 추상 수준에서 관계 유사성을 더 잘 포착할 수 있었다.
• 오토에인코더는 비관계적 및 단어 특화 성분을 제거함으로써 관계 벡터를 순수화하는 데 효과적이었으며, 클러스터링 성능 향상과 후행 작업 성능 향상으로 이를 입증했다.