[논문 리뷰] Temporal Knowledge Graph Forecasting Without Knowledge Using In-Context Learning

Dong-Ho Lee, Kian Ahrabian외 3명|arXiv (Cornell University)|2023. 05. 17.

Topic Modeling인용 수 8

한 줄 요약

이 논문은 맥락 내 학습을 활용한 대형 언어 모델이 미세 조정 없이도 미래 Temporal Knowledge Graph(TKG) 사실을 예측할 수 있음을 보이며, 의미 정보가 제거되더라도 여러 벤치마크에서 감독 방법에 경쟁력 있는 성능을 달성한다.

ABSTRACT

Temporal knowledge graph (TKG) forecasting benchmarks challenge models to predict future facts using knowledge of past facts. In this paper, we apply large language models (LLMs) to these benchmarks using in-context learning (ICL). We investigate whether and to what extent LLMs can be used for TKG forecasting, especially without any fine-tuning or explicit modules for capturing structural and temporal information. For our experiments, we present a framework that converts relevant historical facts into prompts and generates ranked predictions using token probabilities. Surprisingly, we observe that LLMs, out-of-the-box, perform on par with state-of-the-art TKG models carefully designed and trained for TKG forecasting. Our extensive evaluation presents performances across several models and datasets with different characteristics, compares alternative heuristics for preparing contextual information, and contrasts to prominent TKG methods and simple frequency and recency baselines. We also discover that using numerical indices instead of entity/relation names, i.e., hiding semantic information, does not significantly affect the performance ($\pm$0.4\% Hit@1). This shows that prior semantic knowledge is unnecessary; instead, LLMs can leverage the existing patterns in the context to achieve such performance. Our analysis also reveals that ICL enables LLMs to learn irregular patterns from the historical context, going beyond simple predictions based on common or recent information.

연구 동기 및 목표

• 추가 학습 없이 과거 관찰만으로 미래의 TKG 사실 예측의 동기를 제시한다.
• 역사적 맥락 선택, 프롬프트 설계, 디코딩이 ICL 성능에 어떤 영향을 미치는지 탐구한다.
• LLM 기반 TKG 예측에 의미 지식이 필요한지 평가한다.
• 표준 벤치마크에서 LLM 기반 ICL과 감독형, 아키텍처 기반 TKG 방법을 비교한다.

제안 방법

• TKG 예측을 LLM을 사용하는 맥락 내 학습 문제로 프레이밍한다.
• 3단계 파이프라인: (1) 역사를 모델링하여 관련 과거 사실을 선택하고, (2) 어휘적 표기법 또는 인덱스 표기로 프롬프트를 구성하며, (3) LLM 출력으로부터 엔티티에 대한 확률 분포를 도출한다.
• 엔티티 대 페어 이력, 단방향 대 양방향 이력, 그리고 어휘적 대 인덱스 프롬프트를 실험한다.
• 숫자 레이블 매핑을 간접 로짓으로 사용하여 엔티티 확률을 도출한다.
• 단일 스텝 및 다중 스텝 설정에서 표준 TKG 벤치마크(WIKI, YAGO, ICEWS14/18, ACLED-CD22)를 평가한다.
• 감독 기반의 baselines 및 휴리스틱 규칙과 비교하고, 이력 길이 및 모델 크기에 따른 확장성 분석을 수행한다.

실험 결과

연구 질문

• RQ1 LLMs가 미세 조정 없이 제로샷 ICL에서 TKG 예측을 수행할 수 있는가?
• RQ2 역사 선택(엔티티 대 페어, 단방향 대 양방향)이 예측 품질에 어떤 영향을 미치는가?
• RQ3 미래 TKG 사실을 예측할 때 LLM에 의미 사전지식이 중요한가(예: 어휘적 프롬프트 대 숫자 프롬프트)?
• RQ4 프롬프트 설계 선택과 이력 길이가 데이터 세트 전반에서 Hits@k 성능에 어떤 영향을 미치는가?
• RQ5 지시 조정 모델(예: GPT-3.5-turbo)이 프롬프트의 의미 사전지식으로 이점을 얻는가?

주요 결과

• ICL을 갖춘 LLM은 학습 없이 감독형 SOTA TKG 방법과 비교해 Hits@1, Hits@3, Hits@10에서 경쟁력 있는 성능을 보이며(중앙값의 -3.6%, +1.5% 이내).
• 의미 지식이 예측에 핵심적이지 않으며 엔티티/관계가 임의의 숫자로 매핑되어도 성능이 유지된다.
• LLMs는 모든 데이터셋에서 최고의 휴리스틱 규칙 기반 baselines를 능가한다(Hits@1에서 +10% ~ +28% 증가).
• 이력 길이와 모델 규모는 Hits@1과 양의 상관관계에 있으며, TKG 예측에 대한 ICL 성능의 확장 법칙이 존재하는 것을 시사한다.
• 지시 조정 모델은 어휘 프롬프트에서 일부 이득을 보이며, 특정 프롬프트에서 의미 사전지식이 ICL에 보조가 될 수 있음을 시사한다.
• 프롬프트 변형은 ICL이 단순한 빈도/최근성 편향이 아니라 학습된 패턴에 의존한다는 것을 보여준다.