[논문 리뷰] Pre-trained Language Model with Prompts for Temporal Knowledge Graph Completion

Wenjie Xu, Ben Liu외 3명|arXiv (Cornell University)|2023. 05. 13.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 시간 지식 그래프 완성(TKGC)을 위한 프롬프트를 갖춘 사전 훈련된 언어 모델인 PPT를 제안한다. 시간에 특화된 프롬프트를 사용하여 4원조를 일관된 문장으로 변환함으로써 마스킹 토큰 예측을 가능하게 한다. 시간 간격과 관계적 의미를 효과적으로 활용하여 세 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며, 외삽 설정에서 GNN 기반 방법들을 능가한다.

ABSTRACT

Temporal Knowledge graph completion (TKGC) is a crucial task that involves reasoning at known timestamps to complete the missing part of facts and has attracted more and more attention in recent years. Most existing methods focus on learning representations based on graph neural networks while inaccurately extracting information from timestamps and insufficiently utilizing the implied information in relations. To address these problems, we propose a novel TKGC model, namely Pre-trained Language Model with Prompts for TKGC (PPT). We convert a series of sampled quadruples into pre-trained language model inputs and convert intervals between timestamps into different prompts to make coherent sentences with implicit semantic information. We train our model with a masking strategy to convert TKGC task into a masked token prediction task, which can leverage the semantic information in pre-trained language models. Experiments on three benchmark datasets and extensive analysis demonstrate that our model has great competitiveness compared to other models with four metrics. Our model can effectively incorporate information from temporal knowledge graphs into the language models.

연구 동기 및 목표

• 기존 TKGC 방법들이 타임스탬프에서 시간 정보를 추출하고 관계적 연관성을 탐색하는 데에 한계를 보이는 것을 해결하기 위해.
• 사전 훈련된 언어 모델을 활용하여 시간 지식 그래프 완성의 외삽 성능을 향상시키기 위해.
• 프롬프트를 사용하여 시간 지식 그래프 데이터를 구조화하여 PLM와의 더 나은 통합을 탐색하기 위해.
• 암묵적인 시간적 의미와 관계적 의존성이 프롬프트 기반 미세조정된 PLM를 통해 효과적으로 포착될 수 있음을 입증하기 위해.

제안 방법

• 타임스탬프 간의 간격 의미를 코딩한 시간 프롬프트를 사용하여 샘플링된 4원조(주어, 관계, 목적어, 타임스탬프)를 자연어 시퀀스로 변환한다.
• 다양한 시간 간격(예: '하루 전', '일주일 후')에 대해 별도의 프롬프트를 구성하여 상대적 시간 정보를 명시적으로 통합한다.
• 목표 엔티티를 마스킹함으로써 TKGC 작업을 마스킹 토큰 예측 문제로 변환하고, 사전 훈련된 언어 모델을 미세조정한다.
• 훈련 중 마스킹 전략을 적용하여 모델이 이전 사건의 문맥화된 표현 기반으로 누락된 엔티티를 예측할 수 있도록 한다.
• 일관된 입력 시퀀스로부터 장거리 의존성과 암묵적 의미를 포착할 수 있는 사전 훈련 모델의 능력을 활용한다.
• 구문적 일관성과 의미적 풍부성을 확보하기 위해 프롬프트 엔지니어링을 적용하여 PLM의 인덕티브 바이어스를 효과적으로 활용한다.

실험 결과

연구 질문

• RQ1 4원조를 자연어 시퀀스로 변환함으로써 사전 훈련된 언어 모델이 시간 지식 그래프 완성에 효과적으로 적응할 수 있는가?
• RQ2 시간 간격을 인코딩한 시간 특화 프롬프트가 이벤트 순서와 지속 시간에 대한 추론 능력을 향상시키는가?
• RQ3 제안된 프롬프트 기반 마스킹 전략이 외삽 설정에서 전통적인 GNN 기반 또는 텐서 분해 방법보다 우월한가?
• RQ4 모델이 관계 간 순차적 의존성과 같은 시간 민감한 관계 패턴을 어느 정도 효과적으로 포착할 수 있는가?

주요 결과

• PPT는 세 가지 벤치마크 TKG 데이터셋(ICEWS14, ICEWS05-15, YAGO3-196K)에서 최신 기술 수준의 성능을 달성하였으며, ICEWS05-15에서 MRR가 38.85이고 ICEWS05-filter 서브셋에서 Hits@10가 59.31이다.
• 제거 실험 결과, 시간 프롬프트를 제거하고 무작위 타임스탬프를 사용할 경우 성능이 떨어지며, 이는 모델이 프롬프트에서 의미 있는 시간 정보를 학습하고 있음을 확인한다.
• 어텐션 시각화 결과, 모델이 누락된 엔티티를 예측할 때 관련된 이전 사건과 시간적 단서(예: 'day', 'next')에 주목하고 있음을 확인하였다.
• PPT는 139개의 시간 민감한 관계 쌍이 명확한 연속적 순서를 가지는 ICEWS05-filter 데이터셋에서 베이스라인 모델을 능가하며, 순차적 관계 패턴 처리 능력을 입증하였다.
• 타임스탬프를 무작위 값으로 대체하더라도 모델의 성능가 유지됨을 확인하여, 성능 향상 요인이 원시 타임스탬프의 기억이 아니라 프롬프트 설계에 기인함을 시사한다.