[논문 리뷰] Combining Embeddings and Rules for Fact Prediction (Invited Paper)

Ding, Boyang, Wang, Quan외 2명|arXiv (Cornell University)|2018. 05. 07.

Advanced Graph Neural Networks참고 문헌 43인용 수 30

한 줄 요약

이 논문은 실체 표현에 비음성 제약 조건과 관계 표현에 근사 함의 제약 조건을 적용함으로써 모델 성능과 해석 가능성의 향상을 도모하는 지식 그래프 임베딩 방법 ComplEx-NNE+AER을 제안한다. 이러한 단순하고 확장 가능한 제약 조건들은 계산 비용을 증가시키지 않으면서 WordNet, Freebase, DBpedia에서 링크 예측 정확도를 향상시키며, 강력한 기준 모델들을 크게 능가하며 더 구조화되고 해석 가능한 임베딩을 제공한다.

ABSTRACT

Embedding knowledge graphs (KGs) into continuous vector spaces is a focus of current research. Early works performed this task via simple models developed over KG triples. Recent attempts focused on either designing more complicated triple scoring models, or incorporating extra information beyond triples. This paper, by contrast, investigates the potential of using very simple constraints to improve KG embedding. We examine non-negativity constraints on entity representations and approximate entailment constraints on relation representations. The former help to learn compact and interpretable representations for entities. The latter further encode regularities of logical entailment between relations into their distributed representations. These constraints impose prior beliefs upon the structure of the embedding space, without negative impacts on efficiency or scalability. Evaluation on WordNet, Freebase, and DBpedia shows that our approach is simple yet surprisingly effective, significantly and consistently outperforming competitive baselines. The constraints imposed indeed improve model interpretability, leading to a substantially increased structuring of the embedding space. Code and data are available at https://github.com/iieir-km/ComplEx-NNE_AER.

연구 동기 및 목표

• 계산 비용을 증가시키지 않으면서 단순하고 해석 가능한 제약 조건을 통합함으로써 지식 그래프 임베딩을 향상시키는 것.
• 비음성 제약 조건을 통해 더 컴act하고 의미적으로 유의미한 실체 표현을 학습하는 것.
• 근사 함의 제약 조건을 활용해 분산 표현에 관계 함의의 논리적 규칙을 통합하는 것.
• 모델의 해석 가능성과 임베딩 공간의 구조적 조직을 향상시키는 것.
• 다양한 벤치마크 지식 그래프에서 일관된 성능 향상을 달성하는 것.

제안 방법

• 실체 임베딩에 비음성 제약 조건을 적용하여 희박성과 해석 가능성을 향상시키는 것.
• 관계의 통계적 성질에서 근사 함의 제약 조건을 자동으로 학습하여 수작업 규칙 생성을 피하는 것.
• ComplEx 모델 프레임워크에 제약 조건을 통합하여 효율성과 확장성을 유지하는 것.
• 복소수 임베딩의 실수부와 허수부를 활용해 실체와 관계를 표현하는 것.
• 제약 최적화를 통해 종단 간 최적화를 수행하며, 낮은 시간 및 공간 복잡도를 유지하는 것.
• 관계 표현에 히우리스틱을 적용하여 등가 관계와 역관계를 자동으로 식별하는 것.

실험 결과

연구 질문

• RQ1 단순하고 자동으로 도출된 제약 조건이 지식 그래프 임베딩 성능을 향상시킬 수 있는가?
• RQ2 비음성 제약 조건은 실체 표현의 희박성과 해석 가능성에 어떤 영향을 미치는가?
• RQ3 근사 함의 제약 조건은 관계 간 논리적 규칙을 효과적으로 표현할 수 있는가?
• RQ4 이러한 제약 조건의 통합이 효율성을 희생시키지 않고 링크 예측 정확도를 향상시키는가?
• RQ5 제약 조건은 임베딩 공간의 구조적 조직을 어느 정도 향상시키는가?

주요 결과

• 제안된 방법인 ComplEx-NNE+AER은 링크 예측 작업에서 WordNet, Freebase, DBpedia에서 강력한 기준 모델들을 상당히 뛰어넘는 유의미하고 일관된 성능 향상을 달성한다.
• 비음성 제약 조건은 실체 표현을 더 컴act하고 해석 가능한 형태로 만드며, 각 실체가 오직 몇 개의 차원에서만 활성화됨을 보여준다.
• 활성 차원에 대한 실체 유형 분포의 평균 엔트로피가 크게 감소하여 학습된 표현의 더 높은 의미 순도를 나타낸다.
• 근사 함의 제약 조건은 논리적 규칙을 효과적으로 표현한다: 등가 관계는 유사한 표현을 가지며, 역관계는 켤레 표현을 가진다.
• 임베딩 공간은 실체가 동일한 유형을 가진 경우 공통된 활성 차원에 집합되는 등 상당히 더 구조화되어 있다.
• 이 방법은 높은 효율성과 확장성을 유지하며, 훈련 또는 추론 시간에 부정적인 영향을 미치지 않는다.