[논문 리뷰] GreenKGC: A Lightweight Knowledge Graph Completion Method

Yun-Cheng Wang, Xiou Ge외 2명|arXiv (Cornell University)|2022. 08. 19.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

GreenKGC는 표현 학습, 분류 기반 특성 선택, 관계군 기반 분류기 학습을 조합하여 8–32D 저차원 임베딩에서 최신 기술 수준(SOTA) 성능을 달성하는 경량이고 모듈러한 지식 그래프 완성(KGC) 방법을 제안한다. 이는 저차원에서 기존 SOTA 방법을 능가하며, 고차원 모델과 비교해도 성능을 유지하거나 초월함과 동시에 모델 크기를 크게 줄여 자원이 제한된 플랫폼에 효율적으로 구현할 수 있다.

ABSTRACT

Knowledge graph completion (KGC) aims to discover missing relationships between entities in knowledge graphs (KGs). Most prior KGC work focuses on learning embeddings for entities and relations through a simple scoring function. Yet, a higher-dimensional embedding space is usually required for a better reasoning capability, which leads to a larger model size and hinders applicability to real-world problems (e.g., large-scale KGs or mobile/edge computing). A lightweight modularized KGC solution, called GreenKGC, is proposed in this work to address this issue. GreenKGC consists of three modules: representation learning, feature pruning, and decision learning, to extract discriminant KG features and make accurate predictions on missing relationships using classifiers and negative sampling. Experimental results demonstrate that, in low dimensions, GreenKGC can outperform SOTA methods in most datasets. In addition, low-dimensional GreenKGC can achieve competitive or even better performance against high-dimensional models with a much smaller model size.

연구 동기 및 목표

• 이해를 위해 필요한 고차원 임베딩으로 인해 지식 그래프 완성(KGC)에서 모델 크기가 커지는 문제를 해결하기 위해.
• 모바일 및 엣지 디바이스와 같은 자원이 제한된 플랫폼에서 효율적이고 정확한 KGC를 가능하게 하기 위해.
• 저차원 공간에서도 높은 성능을 유지할 수 있는 모듈러하고 파라미터 효율적인 프레임워크를 개발하기 위해.
• 깊은 신경망의 종단간(end-to-end) 학습을 피하여 학습 시간을 단축하고 복잡한 초기화에 대한 의존도를 줄이기 위해.
• 지식 그래프의 구조와 임베딩 행동에 맞춘 새로운 부정 샘플링 전략을 통해 일반화 능력과 강인성을 향상시키기 위해.

제안 방법

• 모듈 1에서 고차원 엔티티 및 관계 표현을 위한 사전 학습된 KGE 모델(예: TransE)을 기준선으로 사용한다.
• 모듈 2에서 고차원 임베딩에서 분류 기반 특성 선택을 적용하여 예측 능력을 유지하면서도 차원을 감소시킨다.
• 유사한 분류 기반 특성 차원을 가진 관계들을 그룹화하여 분류기 파라미터를 공유하고 효율성을 높인다.
• 모듈 3에서 관계군 별로 이진 분류기를 학습하여 삼중항 존재 확률(0에서 1 사이)을 예측한다. 이때 소프트 레이블을 사용한다.
• 두 가지 새로운 부정 샘플링 전략인 온톨로지 기반 및 임베딩 기반 전략을 도입하여 어려운 부정 샘플을 탐색하고 분류기의 일반화 능력을 향상시킨다.
• 각 모듈을 별도로 학습함으로써 모듈러 최적화를 가능하게 하고 학습 복잡도를 감소시킨다.

실험 결과

연구 질문

• RQ1 고차원 표현에 의존하지 않고 저차원 임베딩에서도 경쟁력 있는 성능을 달성할 수 있는 경량 KGC 방법이 존재하는가?
• RQ2 모듈러 특성 선택 및 관계 그룹화가 저차원 KGC에서 모델의 효율성과 성능에 어떤 영향을 미치는가?
• RQ3 온톨로지 기반 및 임베딩 기반 부정 샘플링 전략은 랜덤 샘플링에 비해 분류기 학습을 어떻게 향상시키는가?
• RQ4 SOTA KGE 및 신경망 기반 KGC 방법과 비교했을 때 GreenKGC의 추론 속도와 모델 크기는 어떠한가?
• RQ5 GreenKGC의 모듈러이고 분리된 학습 방식은 종단간 딥 러닝 모델에서 흔히 발생하는 수렴 및 최적화 문제를 피할 수 있는가?

주요 결과

• GreenKGC는 FB15k-237 및 WN18RR에서 8, 16, 32차원 저차원 설정에서 SOTA 성능을 달성하며, 기존의 저차원 KGC 방법들을 능가한다.
• 32차원 설정에서 GreenKGC는 FB15k-237에서 MRR 0.316, WN18RR에서 MRR 0.411을 기록하여 기준 KGE 및 다른 저차원 모델을 초월한다.
• 32차원 설정에서 GreenKGC는 고차원 KGE 모델(예: 128D)과 비교해도 성능을 유지하거나 초월함과 동시에 훨씬 적은 파라미터를 사용한다.
• YAGO3-10과 같은 대규모 데이터셋에서 DualDE와 같은 지식 정렬(Knowledge Distillation) 방법 대비 학습 시간을 약 20배 감소시켰다.
• FB15k-237에서는 온톨로지 기반 부정 샘플링 전략이 랜덤 및 임베딩 기반 샘플링보다 우수한 성능을 보였고, WN18RR와 같은 개념 기반 지식 그래프에서는 임베딩 기반 샘플링 전략이 더 효과적이었다.
• GreenKGC의 예측 점수 분포는 지식 그래프의 희소성 특성을 반영하며, 1에 가까운 높은 점수를 가진 후보가 몇 개에 불과함을 보여주어 강인성과 현실적인 신뢰도 추정이 가능함을 시사한다.