[논문 리뷰] SKILL: Structured Knowledge Infusion for Large Language Models

Fédor Moiseev, Zhe Dong외 2명|arXiv (Cornell University)|2022. 05. 17.

Topic Modeling인용 수 8

한 줄 요약

이 논문은 지식 그래프(KG)의 사실적 삼중항에 직접적으로 T5 언어 모델을 사전 훈련할 수 있는 SKILL을 제안한다. 이 방법은 텍스트 정렬이나 문장 생성을 필요로 하지 않으며, 닫힌 책 QA 작업에서 최신 기술 성능을 달성한다. 특히 WikiMovies를 사용한 MetaQA에서 정확도 매칭 점수를 3배 향상시켰고, FreebaseQA, WikiHop, TriviaQA에서도 우수한 성능을 보였다. 이는 LLM이 자연어 지도 없이도 구조화된 지식으로부터 효과적으로 학습할 수 있음을 보여준다.

ABSTRACT

Large language models (LLMs) have demonstrated human-level performance on a vast spectrum of natural language tasks. However, it is largely unexplored whether they can better internalize knowledge from a structured data, such as a knowledge graph, or from text. In this work, we propose a method to infuse structured knowledge into LLMs, by directly training T5 models on factual triples of knowledge graphs (KGs). We show that models pre-trained on Wikidata KG with our method outperform the T5 baselines on FreebaseQA and WikiHop, as well as the Wikidata-answerable subset of TriviaQA and NaturalQuestions. The models pre-trained on factual triples compare competitively with the ones on natural language sentences that contain the same knowledge. Trained on a smaller size KG, WikiMovies, we saw 3x improvement of exact match score on MetaQA task compared to T5 baseline. The proposed method has an advantage that no alignment between the knowledge graph and text corpus is required in curating training data. This makes our method particularly useful when working with industry-scale knowledge graphs.

연구 동기 및 목표

• 대규모 언어 모델이 자연어 지도 없이도 직접적으로 구조화된 지식 그래프 삼중항에서 사실 지식을 효과적으로 학습하고 내재화할 수 있는지 조사하는 것.
• 자연어 텍스트와의 정렬이 필요 없이 LLM에 지식을 통합할 수 있는 확장 가능한 방법을 개발하는 것.
• 동일한 지식을 포함한 자연어 문장으로 훈련하는 것과 비교해 삼중항으로 직접 훈련하는 것이 성능에서 우월하거나 유사한지 평가하는 것.
• 모델 크기와 지식 그래프 크기가 지식 기억 및 추론 성능에 미치는 영향을 평가하는 것.
• 비용이 많이 드는 데이터 쿠리네이션 파이프라인 없이도 산업 규모의 지식 그래프를 LLM 사전 훈련에 효율적으로 통합할 수 있도록 하는 것.

제안 방법

• 표준 마스크된 언어 모델링(MLM) 목적함수를 사용하여 지식 그래프에서의 사실적 삼중항(주어-관계-목적어)으로 T5 모델을 직접 사전 훈련한다.
• 훈련 데이터는 엔티티 연결이나 문장 생성이 필요 없이 '바락 오바마 - 태어난 곳은 - 케냐'와 같은 텍스트 문자열 형식의 원시 KG 삼중항으로 구성된다.
• 외부 텍스트 코퍼스와의 삼중항 정렬이나 자연어 기술 생성이 필요 없어지며, 이로 인해 데이터 쿠리네이션의 복잡성이 감소한다.
• 검색 보강 없이도 사전 훈련 중에 내장된 지식에 의존하여, 하류 QA 작업에서의 파인튜닝을 수행한다.
• 위키데이터나 위키무비와 같은 대규모 지식 그래프에 쉽게 스케일업할 수 있으며, 이는 그들의 삼중항 형식을 직접 사용함으로써 가능하다.
• 모든 실험에서 초모델 설정을 동일하게 유지하며, 위키무비에서는 10만 스텝, 위키데이터에서는 20만 스텝을 훈련한다.

실험 결과

연구 질문

• RQ1 T5와 같은 대규모 언어 모델이 자연어 지도 없이도 직접적으로 구조화된 지식 그래프 삼중항에서 사실 지식을 학습할 수 있는가?
• RQ2 동일한 지식을 포함한 자연어 문장으로 사전 훈련된 모델과 비교해, 지식 그래프 삼중항으로 사전 훈련된 모델이 닫힌 책 QA 작업에서 성능이 어떻게 다른가?
• RQ3 SKILL 사전 훈련의 성능 향상은 모델 크기와 지식 그래프 크기에 따라 비례하는가?
• RQ4 오직 원시 삼중항으로만 훈련된 모델가 얼마나 잘 지식 그래프를 기억하고 추론할 수 있는가?
• RQ5 스키마 정렬이나 문장 생성 없이도 SKILL이 산업 규모의 지식 그래프에 효과적으로 적용될 수 있는가?

주요 결과

• WikiMovies 지식 그래프를 사용한 MetaQA 벤치마크에서, SKILL로 사전 훈련된 T5.1.1-large 모델은 기준 모델 대비 정확도 매칭 점수를 3배 향상시켰다(테스트 세트에서 71.52점).
• 위키데이터 삼중항으로 사전 훈련된 SKILL 모델은 FreebaseQA, WikiHop, TriviaQA의 위키데이터 답변 가능 서브셋에서 T5 기준 모델을 능가했다.
• 동일한 지식을 포함한 자연어 문장으로 훈련된 모델과 경쟁적으로 성능을 내었으며, 이는 삼중항 직접 훈련 방식이 효과적임을 시사한다.
• 성능 향상은 더 큰 모델에서 더 두드러졌으며, 모델 크기가 커질수록 성능 향상이 증가함을 보여, 이 방법의 확장성이 높음을 시사한다.
• 1-홉 QA 작업에서는 단일 삼중항으로 충분하여 성능 향상이 뚜렷했지만, 2/3-홉 작업에서는 추론이 필요해 성능 향상이 더 작았으며, 이는 그래프의 구조를 포착하는 데 한계가 있음을 시사한다.
• C4에 대한 추가 사전 훈련은 T5.1.1-base 및 -large 모델의 성능을 향상시켰지만, XXL 버전에서는 성능 저하가 발생했으며, 이는 과도한 훈련에 대한 이전 연구 결과와 일치한다.