[논문 리뷰] Concept2vec: Metrics for Evaluating Quality of Embeddings for Ontological Concepts

Faisal Alshargi, Saeedeh Shekarpour외 2명|arXiv (Cornell University)|2018. 03. 12.

Advanced Graph Neural Networks참고 문헌 26인용 수 8

한 줄 요약

이 논문은 지식 그래프 내 온톨로지 개념의 임베딩 품질을 평가하기 위한 체계적인 내재 평가 프레임워크를 제안한다. 주로 분류, 계층 구조, 관계 구조에 중점을 두며, 맞춤형 메트릭을 갖춘 세 가지 별도의 과제를 도입하여 실험을 통해 한 모델이 모든 측면에서 뛰어나지 못함을 입증한다. 위키피디아에서 학습한 GloVe가 관계 과제에서 가장 뛰어난 성능을 보이며, 성능은 모델과 데이터 소스에 따라 크게 달라진다.

ABSTRACT

Although there is an emerging trend towards generating embeddings for primarily unstructured data and, recently, for structured data, no systematic suite for measuring the quality of embeddings has been proposed yet. This deficiency is further sensed with respect to embeddings generated for structured data because there are no concrete evaluation metrics measuring the quality of the encoded structure as well as semantic patterns in the embedding space. In this paper, we introduce a framework containing three distinct tasks concerned with the individual aspects of ontological concepts: (i) the categorization aspect, (ii) the hierarchical aspect, and (iii) the relational aspect. Then, in the scope of each task, a number of intrinsic metrics are proposed for evaluating the quality of the embeddings. Furthermore, w.r.t. this framework, multiple experimental studies were run to compare the quality of the available embedding models. Employing this framework in future research can reduce misjudgment and provide greater insight about quality comparisons of embeddings for ontological concepts. We positioned our sampled data and code at https://github.com/alshargi/Concept2vec under GNU General Public License v3.0.

연구 동기 및 목표

• 지식 그래프 내 온톨로지 개념의 임베딩에 대한 체계적인 내재 평가 방법의 부족을 해결하기 위해.
• 개념 임베딩의 의미적, 구조적, 관계적 품질을 포괄적으로 반영할 수 있는 평가 프레임워크를 개발하기 위해.
• DBpedia와 위키피디아 양측의 데이터로 학습된 주요 임베딩 모델들(스킵그램, CBOW, GloVe)이 온톨로지 개념 표현에 얼마나 효과적인지 비교하기 위해.
• 연구자들이 공정하고 일관된 임베딩 모델 품질 비교를 위해 재사용 가능한 메트릭과 코드를 제공하기 위해.
• 계층과 관계와 같은 온톨로지 기능을 표현하는 데 있어 모델 별 강점과 한계를 규명하기 위해.

제안 방법

• 세 가지 평가 과제를 제안한다: (i) 분류, (ii) 계층적 구조, (iii) 임베딩 내 관계 패턴.
• 각 과제에 대해 의미적 유사도와 벡터 산술 기반의 내재 메트릭을 정의하며, 관계 과제에서는 코사인 유사도와 같은 메트릭을 사용한다.
• 전이 거리 메트릭 Tr(c_i + p_i, c_j) = s(V_c_i + V_p_i, V_c_j)를 사용하여 도메인 개념과 성질의 벡터 합이 범위 개념 임베딩으로 이어지는지 평가한다.
• 관계 일관성을 테스트하기 위해 도메인 및 범위 개념이 알려진 12개의 DBpedia 객체 성질을 정제된 세트로 활용한다.
• 스킵그램, CBOW, GloVe 등의 여러 임베딩 모델을 위키피디아와 DBpedia 코퍼스 양측에서 학습 및 평가한다.
• 재현 가능성과 커뮤니티 활용을 위해 데이터셋과 코드를 GNU GPL v3.0 라이선스 하에 공개한다.

실험 결과

연구 질문

• RQ1 어느 임베딩 모델이 임베딩 공간에서 온톨로지 개념의 분류를 가장 잘 유지하는가?
• RQ2 임베딩 모델은 개념 간 계층적 관계를 얼마나 잘 포착하는가?
• RQ3 임베딩 모델은 성질 기반 전이 관점에서 지식 그래프의 관계적 구조를 어느 정도 반영하는가?
• RQ4 구조화된 지식 그래프(예: DBpedia)에서 학습한 것이 비구조화된 텍스트(예: 위키피디아)에서 학습한 것보다 더 나은 임베딩을 제공하는가?
• RQ5 다양한 온톨로지 개념의 측면에서 평가했을 때 모델 간 일관된 성능 차이가 존재하는가?

주요 결과

• 위키피디아에서 학습한 GloVe 임베딩은 관계 과제에서 다른 모델보다 뛰어나며, 'largestCountry' 관계에서 전이 거리 점수 0.878을 기록했다.
• 'officialLanguage' 관계는 위키피디아에서 학습한 GloVe가 가장 높은 전이 점수(0.721)를 기록하여 강력한 관계 일반화 능력을 보였다.
• 모델 간 성능 격차가 존재하여 한 모델이 모든 과제에서 우월하지는 않다: 스킵그램은 분류 과제에서 최고 성능을 보였고, CBOW와 GloVe는 계층 평가에서 더 뛰어난 성능을 보였다.
• 기대와는 달리 DBpedia에서 학습한 임베딩이 위키피디아에서 학습한 것보다 항상 뛰어나지 않으며, 이는 데이터 크기와 온톨로지 구조를 포착하는 데 있어 모델의 한계 때문일 것이다.
• RDF2Vec 및 RDF(GloVe) 방법은 개념, 성질, 인스턴스를 구분하는 데 약점을 보이며, 온톨로지 기능의 표현이 최적화되지 않았다.
• 결과적으로 의미적, 구조적, 관계적 특성을 모두 포괄적으로 반영하기 위해서는 다수의 모델 임베딩을 통합하는 것이 필요할 수 있음을 시사한다.