[논문 리뷰] ConceptNet 5.5: An Open Multilingual Graph of General Knowledge

Robert E. Speer, Joshua Chin외 1명|arXiv (Cornell University)|2016. 12. 12.

Natural Language Processing Techniques인용 수 844

한 줄 요약

ConceptNet 5.5는 일반 세계 지식에 대한 대규모 다국어 지식 그래프를 공개하고, ConceptNet을 분포형 단어 임베딩(Numberbatch)과 결합하면 어휘 관련성, SAT 스타일의 유추, 그리고 관련 작업에서 최첨단 결과를 얻는다는 것을 보여준다.

ABSTRACT

Machine learning about language can be improved by supplying it with specific knowledge and sources of external information. We present here a new version of the linked open data resource ConceptNet that is particularly well suited to be used with modern NLP techniques such as word embeddings. ConceptNet is a knowledge graph that connects words and phrases of natural language with labeled edges. Its knowledge is collected from many sources that include expert-created resources, crowd-sourcing, and games with a purpose. It is designed to represent the general knowledge involved in understanding language, improving natural language applications by allowing the application to better understand the meanings behind the words people use. When ConceptNet is combined with word embeddings acquired from distributional semantics (such as word2vec), it provides applications with understanding that they would not acquire from distributional semantics alone, nor from narrower resources such as WordNet or DBPedia. We demonstrate this with state-of-the-art results on intrinsic evaluations of word relatedness that translate into improvements on applications of word vectors, including solving SAT-style analogies.

연구 동기 및 목표

• 일반적인 언어 관련 지식에 초점을 맞춘 개방형 다국어 지식 그래프 제공.
• 36개의 핵심 관계로 다양한 지식 소스를 하나의 그래프로 정렬.
• ConceptNet이 단어 임베딩 및 다운스트림 NLP 과제를 향상시킬 수 있는 방법 시연.
• 표준 의미론적 과제에서 ConceptNet 기반 임베딩과 분포형 임베딩을 비교 평가.

제안 방법

• 소스(OMCS, Wiktionary 파싱, 활용 게임, Open Multilingual WordNet, JMDict, OpenCyc, DBPedia)를 통합하여 ConceptNet 5.5 구성.
• 용어를 핵심 36 관계 네임스페이스를 가진 언어별, 유니코드 표준화된 URI로 표현.
• PPMI를 적용한 잘린 용어-맥락 행렬을 구성하고 300차원 SVD를 적용하여 ConceptNet-PPMI 임베딩 생성.
• ConceptNet 관계로 word2vec 및 GloVe 임베딩을 재조정하는 방식으로 ConceptNet Numberbatch 개발, 글로벌 선형 프로젝션을 통해 여러 임베딩 소스 병합.
• 벡터 구별 가능성을 유지하기 위한 재조정 후 평균 중심화 단계 적용.
• 단어 관련성, SAT 스타일의 비유, Story Cloze 테스트에서 성능 향상을 보여주기 위한 평가 수행.

실험 결과

연구 질문

• RQ1 ConceptNet 5.5가 공통 관계 집합으로 다국어 자원을 일관된 지식 그래프로 어떻게 통합할 수 있는가?
• RQ2 ConceptNet과 분포형 단어 벡터를 결합한 임베딩이 순수 분포형 또는 순수 지식 그래프 임베딩보다 의미론적 과제에서 더 잘 수행하는가?
• RQ3 ConceptNet 5.5가 고유 의미 관련성, 비례적 유추(SAT 스타일), 이야기 이해 벤치마크에 미치는 영향은 무엇인가?
• RQ4 확대된 재조정이 다국어 연결을 활용하여 비영어권 임베딩을 어떻게 개선하는가?

주요 결과

• ConceptNet 5.5는 83개 언어에 걸쳐 10k 노드 이상을 포함한 2100만 개가 넘는 엣지와 800만 개가 넘는 노드를 보유하고 있다.
• ConceptNet Numberbatch는 단어 관련성 평가에서 최첨단 결과를 달성하며 MEN-3000, Rare Words, MTurk-771, WordSim-353에서 다른 임베딩을 능가한다.
• SAT 스타일의 비유 과제에서 ConceptNet Numberbatch는 56.1% 정확도를 달성하여 일부 비 ConceptNet 시스템과 경쟁하거나 이를 상회한다.
• Numberbatch를 사용한 간단한 벡터 묶음 방식은 Story Cloze Test에서 59.4% 정확도를 보여주며 지식 강화 임베딩의 실용적 이점을 보여준다.
• 본 연구는 관계 지식과 분포적 의미론을 결합하면 단독 접근법을 능가하는 향상을 낳는다는 것을 시사한다.