[논문 리뷰] Sequence-to-Sequence Knowledge Graph Completion and Question Answering

Apoorv Saxena, Adrian Kochsiek외 1명|arXiv (Cornell University)|2022. 03. 19.

Advanced Graph Neural Networks인용 수 11

한 줄 요약

이 논문은 지식 그래프 완성(KGC)과 질의 응답(KGQA)을 텍스트 생성 작업으로 간주하는 시퀀스 투 시퀀스 Transformer 모델인 KGT5를 제안한다. 자동회귀 디코딩을 통한 링크 예측에 대해 T5-small 아키텍처를 기반으로 한 모델을 훈련시킴으로써, 기존 KGE 모델 대비 최대 98% 작아진 모델 크기로 KGC 및 KGQA에서 최신 기술 성능(SOTA)을 달성하면서도 추론이 타당하고, 작업 간 통합적이고 종단 간(end-to-end) 훈련이 가능하다.

ABSTRACT

Knowledge graph embedding (KGE) models represent each entity and relation of a knowledge graph (KG) with low-dimensional embedding vectors. These methods have recently been applied to KG link prediction and question answering over incomplete KGs (KGQA). KGEs typically create an embedding for each entity in the graph, which results in large model sizes on real-world graphs with millions of entities. For downstream tasks these atomic entity representations often need to be integrated into a multi stage pipeline, limiting their utility. We show that an off-the-shelf encoder-decoder Transformer model can serve as a scalable and versatile KGE model obtaining state-of-the-art results for KG link prediction and incomplete KG question answering. We achieve this by posing KG link prediction as a sequence-to-sequence task and exchange the triple scoring approach taken by prior KGE methods with autoregressive decoding. Such a simple but powerful method reduces the model size up to 98% compared to conventional KGE models while keeping inference time tractable. After finetuning this model on the task of KGQA over incomplete KGs, our approach outperforms baselines on multiple large-scale datasets without extensive hyperparameter tuning.

연구 동기 및 목표

• 기존 지식 그래프 임bedding(KGE) 모델의 확장성, 품질, 다양성, 단순성의 한계를 해결하기 위해.
• 지식 그래프 완성과 질의 응답을 하나의 확장성 있고 종단 간 훈련 가능한 프레임워크로 통합하기 위해.
• 대규모 지식 그래프에서 성능을 유지하거나 향상시키면서도 모델 크기와 추론 비용을 줄이기 위해.
• 링크 예측에서의 사전 훈련이 KGQA와 같은 지식 집약적 작업에 대해 일반적인 언어 모델링보다 더 효과적인지 평가하기 위해.
• 부족한 지식 그래프에서 저용량 모델의 기억과 일반화 사이의 상호 작용을 조사하기 위해.

제안 방법

• 모델은 표준 T5-small 아키텍처를 기반으로 한 오프더섀프 encoder-decoder Transformer를 사용하여 지식 그래프 삼중항에 대한 시퀀스 투 시퀀스 예측을 수행한다.
• 링크 예측은 텍스트 생성 작업으로 재정의된다: 관계와 한 개의 엔티티(헤드 또는 테일)가 주어지면, 모델은 자동회귀적으로 누락된 엔티티를 생성한다.
• 모델은 삼중항 시퀀스에 대해 마스크된 스펜 예측 목적함수를 사용해 대규모 지식 그래프에서 사전 훈련된다.
• 질의 응답을 위해, 동일한 모델이 QA 쌍에 대해 피니튜닝되며, 관계 지식 유지를 위해 링크 예측 목적함수에서 정규화가 적용된다.
• 엔티티 표현은 텍스트 언급에서 유도되며, 전용 엔티티 임베딩 없이도 복합적 인코딩이 가능하다.
• 모델 크기를 크게 줄이기 위해 각 엔티티에 대한 임베딩 벡터를 피하기 위해 토큰 시퀀스에 대한 자동회귀 디코딩에 의존한다.

실험 결과

연구 질문

• RQ1 표준 Transformer 인코더-디코더 아키텍처를 사용해 지식 그래프 완성을 효과적으로 시퀀스 투 시퀀스 생성 작업으로 재정의할 수 있는가?
• RQ2 링크 예측에 대해 훈련된 통합 시퀀스 투 시퀀스 모델이 성능과 모델 효율성 측면에서 전용 KGE 모델을 능가하는가?
• RQ3 이러한 모델은 광범위한 초모수 조정 없이도, 불완전한 지식 그래프에서 질의 응답 작업에 잘 일반화되는가?
• RQ4 링크 예측에서의 사전 훈련이, 후속 KGQA 작업에 대해 일반적인 언어 모델링보다 더 효과적인가?
• RQ5 모델 용량이 낮은 경우, 특히 저파rameter 모델에서 알려진 사실을 기억하는 데 제한을 받는 정도는 어느 정도인가?

주요 결과

• KGT5는 지식 그래프 완성에서 최신 기술 성능을 달성했으며, Wikidata5M에서 테스트 MRR가 0.300을 기록해 ComplEx보다 추론 효율성이 뛰어나지만, 파rameter 수는 614M 대비 60M으로 훨씬 적다.
• 기존 KGE 모델 대비 최대 98% 작아진 모델 크기를 확보하면서도, 엔티티 수가 최대 9000만 개에 이르는 대규모 지식 그래프에서 경쟁력 있는 성능을 유지한다.
• KGQA 벤치마크에서 KGT5는 완전히 지식 그래프에서 사전 훈련된 경우 WQSP에서 Hits@1이 56.1, CWQ에서 36.5를 기록해, 단순히 QA에 대해 피니튜닝된 T5-small보다 뛰어난 성능을 보였다.
• 링크 예측에서의 사전 훈련이 KGQA 작업에 대해 일반적인 언어 모델링보다 훨씬 효과적임을 입증했으며, KGT5가 QA에 대해 피니튜닝된 T5-small보다 뛰어난 성능을 보였다.
• 전체 지식 그래프 설정에서는 성능이 열악했으며, WQSP에서 Hits@1이 56.1에 머물러 있어, 낮은 모델 용량(60M 파라미터)으로 인해 기억 능력이 제한됨을 시사한다.
• KGT5의 훈련 MRR(0.304)는 ComplEx(0.721)보다 뚜렷이 낮아, 모델이 훈련 사실을 기억하는 데 어려움을 겪고 있음을 확인했으며, 이는 닫힌 책 QA에서의 성능 저하를 초래한다.