[논문 리뷰] Editing Language Model-based Knowledge Graph Embeddings

Siyuan Cheng, Ningyu Zhang외 4명|arXiv (Cornell University)|2023. 01. 25.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 완전 재학습 없이도 효율적이고 데이터 효율적인 업데이트가 가능한, 언어 모델 기반 지식 그래프 임베딩(KGEs)을 편집하기 위한 새로운 작업을 소개한다. KGEditor라는 방법을 제안하며, 이는 하이퍼네트워크를 통해 매개변수화된 레이어를 사용하여 KGE 모델의 피드포워드 네트워크(FFN)에서 사실을 편집하거나 추가한다. 이 방법은 벤치마크 데이터셋 E-FB15k237과 A-WN18RR에서 높은 지식 신뢰성과 국소성(locality)을 달성하면서도 성능 저하를 최소화한다.

ABSTRACT

Recently decades have witnessed the empirical success of framing Knowledge Graph (KG) embeddings via language models. However, language model-based KG embeddings are usually deployed as static artifacts, making them difficult to modify post-deployment without re-training after deployment. To address this issue, we propose a new task of editing language model-based KG embeddings in this paper. This task is designed to facilitate rapid, data-efficient updates to KG embeddings without compromising the performance of other aspects. We build four new datasets: E-FB15k237, A-FB15k237, E-WN18RR, and A-WN18RR, and evaluate several knowledge editing baselines demonstrating the limited ability of previous models to handle the proposed challenging task. We further propose a simple yet strong baseline dubbed KGEditor, which utilizes additional parametric layers of the hypernetwork to edit/add facts. Our comprehensive experimental results reveal that KGEditor excels in updating specific facts without impacting the overall performance, even when faced with limited training resources. Code and datasets are available in https://github.com/zjunlp/PromptKG/tree/main/deltaKG.

연구 동기 및 목표

• 완전 재학습 없이도 배포 후 정적이고 사전 학습된 언어 모델 기반 KGE를 업데이트하는 도전 과제를 해결한다.
• 오류 수정이나 새로운 지식 추가를 위해 빠르고 데이터 효율적인 업데이트를 가능하게 한다.
• 특정 사실을 편집할 경우 이전에 학습한 사실들에 대한 성능 저하가 발생하지 않도록 보장한다(지식 국소성).
• E-FB15k237, A-FB15k237, E-WN18RR, A-WN18RR의 네 가지 새로운 데이터셋을 구축하여 KGE 편집을 위한 새로운 벤치마크를 설정한다.
• 기존의 편집 방법들을 새로운 작업에서 평가하고 비교하여 KGE 편집에서의 한계를 입증한다.

제안 방법

• KGE를 위한 두 가지 새로운 작업, 즉 EDIT(잘못된 사실 수정)와 ADD(새로운 사실 추가)를 제안한다.
• KGE 모델의 피드포워드 네트워크(FFN)에서 지식을 편집하기 위해 학습 가능한 매개변수화된 레이어를 하이퍼네트워크를 통해 통합하는 KGEditor를 설계한다.
• 편집 가능성과 성능 향상을 위해 프롬프트 기반 KGE 모델(PT-KGE)을 기본 아키텍처로 사용한다.
• 최소한의 매개변수 업데이트를 유지하기 위해 KGEditor를 타겟 사실들만으로 학습한다.
• 특정 지식 뉴런에 집중된, 완전한 미세조정 없이도 매개변수 효율적인 업데이트 메커니즘으로서 지식 편집을 적용한다.
• 지식 신뢰성과 국소성을 측정하기 위해 Succ@1 및 RK@3와 같은 지표를 사용하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 기존의 지식 편집 방법들은 관련 없는 사실에 대한 성능 저하 없이 언어 모델 기반 KGE를 효과적으로 업데이트할 수 있는가?
• RQ2 편집 수가 KGE 편집 방법의 신뢰성과 국소성에 어떤 영향을 미치는가?
• RQ3 KGEditor와 같은 매개변수 효율적인 방법이 KGE에서 특정 사실을 편집할 때도 높은 성능을 유지할 수 있는가?
• RQ4 다양한 KGE 초기화 방법(예: 프롬프트 기반 vs. 미세조정된)이 편집 성능에 어떤 영향을 미치는가?
• RQ5 KGE에서 다对다 관계를 다룰 때 편집 기법이 지식 국소성을 얼마나 잘 유지할 수 있는가?

주요 결과

• KE, MEND, CALINET과 같은 기존 방법들은 KGE 편집에서 제한된 효과를 보이며, 관련 없는 사실에 대한 성능 저하가 심각하게 발생한다.
• KGEditor는 모든 기준 모델들보다 지식 신뢰성과 국소성에서 뛰어난 성능을 보이며, 최대 32개의 편집에서도 안정적인 성능을 유지한다.
• E-FB15k237에서 KGEditor의 Succ@1 점수는 편집 수에 관계없이 약 0.85로 안정적으로 유지되며, MEND의 점수는 8개 이상의 편집을 초과하면 크게 하락한다.
• KGEditor와 KE는 FFN 기반의 매개변수 편집을 통해 지식 국소성을 유지하지만, MEND는 편집 간 간섭으로 인해 성능 저하를 겪는다.
• 프롬프트 기반 KGE 모델(PT-KGE)은 미세조정된 KGE 모델(FT-KGE)보다 편집 작업에서 뛰어난 성능을 보이며, 편집 목표와의 일치도 및 편집 가능성 측면에서 더 유리하다.
• 시각화 결과는 KGEditor가 편집 후 정답 엔티티(골든 레이블)로 예측을 성공적으로 이동시키는 것을 확인했으며, 다른 엔티티들의 상대적 위치는 유지된다.