[논문 리뷰] Chain-of-History Reasoning for Temporal Knowledge Graph Forecasting

Yuwei Xia, Ding Wang외 4명|arXiv (Cornell University)|2024. 02. 22.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)이 복잡한 장기적 역사적 맥락을 체계적으로 탐색할 수 있도록 보다 높은 순서의 역사적 체인을 단계별로 탐색할 수 있도록 하는 Chain-of-History (CoH) 추론을 제안한다. 이는 기존의 복잡한 장기 역사적 맥락을 다루는 데서 발생하는 한계를 극복하고 시간 지능 그래프(TKG) 예측 성능을 향상시킨다. CoH는 LLM 기반 TKG 예측 정확도를 햖을 뿐 아니라, LLM 추론과 그래프 기반 모델을 융합하는 플러그-인 모듈로 설계되어 다양한 데이터셋과 백본에서 최신 기술 성능을 달성한다.

ABSTRACT

Temporal Knowledge Graph (TKG) forecasting aims to predict future facts based on given histories. Most recent graph-based models excel at capturing structural information within TKGs but lack semantic comprehension abilities. Nowadays, with the surge of LLMs, the LLM-based TKG prediction model has emerged. However, the existing LLM-based model exhibits three shortcomings: (1) It only focuses on the first-order history for prediction while ignoring high-order historical information, resulting in the provided information for LLMs being extremely limited. (2) LLMs struggle with optimal reasoning performance under heavy historical information loads. (3) For TKG prediction, the temporal reasoning capability of LLM alone is limited. To address the first two challenges, we propose Chain-of-History (CoH) reasoning which explores high-order histories step-by-step, achieving effective utilization of high-order historical information for LLMs on TKG prediction. To address the third issue, we design CoH as a plug-and-play module to enhance the performance of graph-based models for TKG prediction. Extensive experiments on three datasets and backbones demonstrate the effectiveness of CoH.

연구 동기 및 목표

• 기존의 LLM 기반 TKG 모델이 제1차 역사적 맥락에만 의존하고 고차원 시간적 의존성을 효과적으로 활용하지 못하는 한계를 해결하기 위해.
• 긴 역사적 정보로 인해 LLM 성능이 저하되는 문제를 단계적이고 관리 가능한 방식으로 추론을 구조화함으로써 완화하기 위해.
• 모듈러하고 플러그-인 방식의 CoH 모듈을 통해 LLM의 의미적 추론 능력을 통합함으로써 그래프 기반 TKG 모델의 성능을 향상시키기 위해.
• GNN의 구조적 모델링 능력과 LLM의 의미 이해 능력을 융합함으로써 TKG 예측의 시간적 추론 능력을 향상시키기 위해.

제안 방법

• CoH 추론은 고차원 역사적 체인을 단계적으로 처리한다: 각 단계에서 LLM은 점점 더 긴 역사적 체인(예: 제1차, 제2차 등)을 식별하고 추론한다.
• 각 단계에서 LLM은 질문 사실로 향하는 가장 관련성이 높은 역사적 체인을 추론하도록 프롬프트가 제공되어 인지 부담을 줄이고 정보 과부하를 방지한다.
• 최종 예측은 오직 최근에 추론된 고차원 체인에 기반하여 이루어지며, 이는 집중적이고 정확한 추론을 보장한다.
• CoH는 LLM이 생성한 예측과 그래프 기반 모델의 예측을 가중치 파라미터를 사용해 융합하는 플러그-인 모듈로 설계되어 있다.
• 재학습을 피하고, 프롬프트 엔지니어링을 통해 LLM이 구조화된 추론 경로를 따라가도록 유도하는 인-컨텍스트 학습을 활용한다.
• 사전 지식을 활용하여 추론을 향상시키지만, 저자들은 유출을 방지하기 위해 데이터 유출 여부를 필터링하여 성과가 의미적 이해에서 비롯된 것임을 확보한다.

실험 결과

연구 질문

• RQ1 단계적이고 체인형 역사 추론 방식이 고차원 역사적 의존성을 효과적으로 활용함으로써 LLM 기반 TKG 예측 성능을 향상시킬 수 있는가?
• RQ2 각 추론 단계에서의 맥락 길이를 제한함으로써 장기적인 역사적 시퀀스를 처리할 때 성능 저하를 방지할 수 있는가?
• RQ3 CoH가 재학습 없이도 그래프 기반 TKG 모델을 향상시키기 위해 플러그-인 모듈로 효과적으로 통합될 수 있는가?
• RQ4 CoH와 그래프 기반 모델 예측 간 융합 가중치가 전체 성능에 미치는 영향은 어떠한가?
• RQ5 사전 지식이 CoH 추론에 기여하는 정도는 어느 정도이며, 데이터 유출과는 독립적인가?

주요 결과

• CoH는 ICEWS14, ICEWS18, ICEWS05-15에서 MRR 성능을 크게 향상시켜 독립적인 LLM 및 그래프 기반 기준 모델을 모두 압도한다.
• LLM의 성능은 역사 길이가 임계값을 초과하면 저하됨을 확인하여 CoH와 같은 구조적 추론의 필요성을 입증한다.
• 최적의 융합 가중치 $w$는 CoH 예측을 약간 더 우선시하여 CoH의 강력한 보완적 가치를 시사한다.
• 점수 갭을 제어하는 하이퍼파rameter $\alpha$는 성능에 미미한 영향을 미치며, 하이퍼파rameter 튜닝에 대해 뛰어난 내구성을 보임을 시사한다.
• 민감도 분석을 통해 CoH의 성능이 $\alpha$ 및 $w$ 값의 변화에 대해 안정적임을 확인하여 신뢰할 수 있고 일관된 동작을 함을 입증한다.
• 사전 지식의 활용은 추론을 향상시키지만, 성과의 주요 원인은 데이터 유출이 아닌 정적 의미 지식에 기인한다.