[논문 리뷰] Graph Convolutional Networks based Word Embeddings.

Shikhar Vashishth, Prateek Yadav외 4명|arXiv (Cornell University)|2018. 09. 12.

Natural Language Processing Techniques인용 수 3

한 줄 요약

이 논문은 어휘 크기를 늘리지 않고 문법적(의존) 구조를 활용하여 단어 표현을 학습하는 그래프 컬러지 네트워크 기반 방법인 SynGCN를 제안한다. 이는 내재적 및 외재적 NLP 작업에서 기존 방법들을 능가하며, 다양한 의미 지식을 통합하여 표현 품질을 향상시키는 SemGCN까지 도입한다. 코드는 재현 가능성을 위해 공개되었다.

ABSTRACT

Word embeddings have been widely adopted across several NLP applications. Most existing word embedding methods utilize sequential context of a word to learn its embedding. While there have been some attempts at utilizing syntactic context of a word, such methods result in an explosion of the vocabulary size. In this paper, we overcome this problem by proposing SynGCN, a flexible Graph Convolution based method for learning word embeddings. SynGCN utilizes the dependency context of a word without increasing the vocabulary size. Word embeddings learned by SynGCN outperform existing methods on various intrinsic and extrinsic tasks and provide an advantage when used with ELMo. We also propose SemGCN, an effective framework for incorporating diverse semantic knowledge for further enhancing learned word representations. We make the source code of both models available to encourage reproducible research.

연구 동기 및 목표

• 기존 단어 표현 방법이 순차적 문맥에만 의존하고 문법적 구조를 효과적으로 통합하지 못하는 한계를 해결하기 위해.
• 그래프 컬러지 네트워크를 활용하여 문법 기반 단어 표현 방법에서 발생하는 어휘 크기 증가 문제를 해결하기 위해.
• 어휘 크기를 늘리지 않고도 문법적 및 의미적 지식을 단어 표현에 통합할 수 있는 유연한 프레임워크를 개발하기 위해.
• 제안된 모델을 사용하여 내재적 및 외재적 NLP 평가 작업에서 성능을 향상시키기 위해.
• SynGCN와 SemGCN의 소스 코드를 공개하여 재현 가능한 연구를 가능하게 하기 위해.

제안 방법

• SynGCN는 각 문장에 대해 의존성 그래프를 구축하며, 단어를 노드로, 문법적 의존 관계를 간선으로 표현한다.
• 그래프 컬러지 네트워크(GCNs)를 적용하여 문법적 이웃으로부터의 맥락 정보를 집계하고, 맥락에 맞는 단어 표현을 학습한다.
• 이전의 문법 기반 접근 방식과 달리, 새로운 단어 형태를 도입하지 않아 원래의 어휘 크기를 유지한다.
• SemGCN는 SynGCN를 확장하여 외부 의미 지식 소스(예: WordNet, ConceptNet)를 그래프 구조에 통합한다.
• 다중 소스 그래프 집합을 통해 의미 지식을 통합하여 단어 표현에 더 넓은 의미 맥락을 부여한다.
• 두 모델 모두 표준 NLP 손실 함수를 사용하여 엔드 투 엔드로 훈련되며, 표준 벤치마크에서 성능이 평가된다.

실험 결과

연구 질문

• RQ1 그래프 컬러지 네트워크는 어휘 크기를 늘리지 않고도 단어 표현에서 문법적 맥락을 효과적으로 포착할 수 있는가?
• RQ2 순차적 맥락 외에 의존 구조를 통합할 경우, 단어 표현 품질이 어떻게 향상되는가?
• RQ3 그래프 기반 방법을 통해 통합된 외부 의미 지식이 단어 표현에 얼마나 기여하는가?
• RQ4 제안된 방법이 내재적 및 외재적 평가 작업에서 기존 최고 수준의 단어 표현 모델을 능가하는가?
• RQ5 SynGCN와 SemGCN는 ELMo와 같은 맥락 기반 모델과 효과적으로 조합되어 성능을 추가로 향상시킬 수 있는가?

주요 결과

• SynGCN는 어휘 크기를 늘리지 않고도 다수의 내재적 평가 작업(예: 유사성 유추, 단어 유사도)에서 최고 성능을 기록한다.
• 텍스트 분류 및 명명된 실체 인식과 같은 하류 외재적 작업에서, Skip-gram 및 GloVe와 같은 강력한 베이스라인 모델보다 일관되게 성능 향상을 보였다.
• ELMo와 조합할 경우 SynGCN 기반 표현이 성능을 추가로 향상시켜, 맥락 기반 모델과의 호환성과 상호보완성을 입증했다.
• SemGCN는 다양한 의미 지식 소스를 통합함으로써 표현 품질을 크게 향상시켰으며, 내재적 및 외재적 벤치마크에서 모두 성능 향상을 이끌어냈다.
• 제거 실험을 통해 문법적 구조와 외부 의미 지식이 최종 표현에 의미 있는 기여를 한다는 것이 확인되었다.
• 코드를 공개함으로써 재현 가능성이 보장되고, 그래프 기반 단어 표현 학습 분야의 향후 연구를 지원한다.