[논문 리뷰] Lifelong Embedding Learning and Transfer for Growing Knowledge Graphs

Yuanning Cui, Yuxin Wang외 5명|arXiv (Cornell University)|2022. 11. 29.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 마스크된 지식 그래프 오토인코더, 지식 임베딩 전이, 및 치명적 잊음 방지를 위한 정규화를 통해 지속적인 학습이 가능한 LKGE라는 생애주기 지식 그래프 임베딩 모델을 제안한다. 이 모델은 네 가지 다양한 성장 시나리오에서 링크 예측, 전방 지식 전이, 학습 효율성에서 최신 기술 성능을 달성하며, 엔티티 중심, 관계 중심, 사실 중심, 하이브리드 지식 그래프 성장 데이터셋에서 기존 베이스라인을 모두 능가한다.

ABSTRACT

Existing knowledge graph (KG) embedding models have primarily focused on static KGs. However, real-world KGs do not remain static, but rather evolve and grow in tandem with the development of KG applications. Consequently, new facts and previously unseen entities and relations continually emerge, necessitating an embedding model that can quickly learn and transfer new knowledge through growth. Motivated by this, we delve into an expanding field of KG embedding in this paper, i.e., lifelong KG embedding. We consider knowledge transfer and retention of the learning on growing snapshots of a KG without having to learn embeddings from scratch. The proposed model includes a masked KG autoencoder for embedding learning and update, with an embedding transfer strategy to inject the learned knowledge into the new entity and relation embeddings, and an embedding regularization method to avoid catastrophic forgetting. To investigate the impacts of different aspects of KG growth, we construct four datasets to evaluate the performance of lifelong KG embedding. Experimental results show that the proposed model outperforms the state-of-the-art inductive and lifelong embedding baselines.

연구 동기 및 목표

• 시간이 지남에 따라 새로운 사실, 엔티티, 관계가 지속적으로 발생하는 실제 세계의 진화하는 지식 그래프에서 지속적인 지식 그래프 임베딩을 해결하기 위해.
• 다시 시작하지 않고도 기존에 학습된 임베딩에서 새로운, 알려지지 않은 엔티티와 관계로의 효율적 지식 전이를 가능하게 하기 위해.
• 오래된 엔티티 및 관계 임베딩에 대한 점진적 업데이트 중 치명적 잊음을 방지하기 위해.
• 이전 데이터셋의 이상화된 가정을 넘어서, 엔티티 중심, 관계 중심, 사실 중심, 하이브리드 성장 패턴을 포함한 다양한 성장 패턴에서 모델 성능을 평가하기 위해.
• 여러 지식 그래프 스냅샷 동안 학습 효율성을 향상시키고 높은 예측 정확도를 유지하기 위해.

제안 방법

• 마스크된 지식 그래프 오토인코더를 사용하여 새로운 사실을 엔티티나 관계를 마스크하고 예측하는 방식으로 재구성함으로써, 오래된 노드와 새로운 노드 간 국소적 지식 전이를 가능하게 한다.
• 기존 스냅샷에서 사전에 훈련된 지식을 활용하여 새로운 엔티티 및 관계 임베딩을 초기화하는 임베딩 전이 전략을 통해 수렴 속도를 가속화하고 임베딩 공간의 안정성을 확보한다.
• 새로운 사실에 대한 학습과 오래된 지식의 유지 간 균형을 맞추는 임베딩 정규화 방법을 통해 점진적 업데이트 중 치명적 잊음을 완화한다.
• 모델은 성장하는 지식 그래프 스냅샷에 점진적으로 훈련되며, 영향을 받은 엔티티에 대해서만 임베딩을 업데이트하고 나머지는 유지한다.
• 시간에 따라 일관된 표현을 유지함으로써 전방 및 후방 지식 전이를 지원하는 프레임워크이다.
• 엔티티 중심, 관계 중심, 사실 중심, 하이브리드 성장 패턴에서의 성능 평가를 위해 네 가지 새로운 벤치마크 데이터셋을 구축하였다.

실험 결과

연구 질문

• RQ1 성장하는 지식 그래프에서 기존에 습득한 지식을 유지하면서 새로운 사실을 효과적으로 학습할 수 있는 지식 그래프 임베딩 모델은 어떻게 설계할 수 있는가?
• RQ2 기존 임베딩에서의 지식 전이가 생애주기 학습 환경에서 새로운 엔티티와 관계의 학습에 얼마나 기여하는가?
• RQ3 제안된 정규화 전략은 오래된 임베딩에 대한 점진적 업데이트 중 치명적 잊음을 어떻게 완화하는가?
• RQ4 모델의 성능은 엔티티 중심, 관계 중심, 사실 중심, 하이브리드 성장 유형에서 어떻게 달라지는가?
• RQ5 재훈련 또는 피취트래닝 기반 베이스라인과 비교했을 때 생애주기 지식 그래프 임베딩에서 학습 효율성과 예측 정확도 사이의 상충 관계는 어떠한가?

주요 결과

• LKGE는 네 가지 데이터셋 전부에서 최고의 평균 역수 순위(MRR)를 기록하였으며, 각각 엔티티 데이터셋에서 0.227, 관계 데이터셋에서 0.367, 사실 데이터셋에서 0.372, 하이브리드 데이터셋에서 0.367의 MRR 점수를 기록하여 모든 베이스라인을 능가하였다.
• 모델은 강력한 전방 지식 전이(FWT) 성능을 보이며, 특히 스키마 변화가 발생하는 관계 및 하이브리드 데이터셋에서 경쟁자들보다 유의미하게 높은 FWT 점수를 기록하였다.
• 후방 지식 전이(BWT)가 효과적으로 유지되었으며, LKGE는 모든 데이터셋에서 양의 BWT 점수를 기록하여 오래된 지식의 안정적 유지가 가능함을 보여주었다.
• 재훈련 및 스냅샷 기반 베이스라인 대비 훈련 시간이 크게 감소하였으며, 특히 임베딩 전이 덕분에 후속 스냅샷에서 가장 뚜렷한 효율성 향상이 관찰되었다.
• 제거 실험 결과, 마스크된 오토인코더나 정규화를 제거할 경우 성능 저하가 심각하게 발생함을 확인하여, 지식 유지 및 학습 안정성에 있어 이들의 핵심적 역할을 입증하였다.
• 임베딩 전이 전략은 스키마 변화가 발생하는 관계 및 하이브리드 데이터셋에서 성능 향상을 이끌었지만, 대량의 새로운 엔티티가 필요한 엔티티 데이터셋에서는 덜 중요한 역할을 하였다.