[논문 리뷰] Using Large Language Models for Zero-Shot Natural Language Generation from Knowledge Graphs

Agnes Axelsson, Gabriel Skantze|arXiv (Cornell University)|2023. 07. 14.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 피팅 튜닝 없이 대규모 언어 모델(LM)인 OpenAI의 ChatGPT를 사용하여 zero-shot 지식 그래프-to-텍스트 생성을 평가한다. WebNLG 2020의 일부 메트릭에서 ChatGPT는 거의 최첨단 성능을 달성하지만, 삼항관계의 사실성에 따라 성능이 크게 달라지며, 사실적인 삼항관계에서 가장 잘 작동하고, 반대 사실적인 삼항관계에서는 더 나쁘며, 허구적인 문장에서는 가장 열 劣한 성능을 보인다. 이는 모델의 지식과 생성 품질 사이에 강한 연관성이 있음을 시사한다.

ABSTRACT

In any system that uses structured knowledge graph (KG) data as its underlying knowledge representation, KG-to-text generation is a useful tool for turning parts of the graph data into text that can be understood by humans. Recent work has shown that models that make use of pretraining on large amounts of text data can perform well on the KG-to-text task even with relatively small sets of training data on the specific graph-to-text task. In this paper, we build on this concept by using large language models to perform zero-shot generation based on nothing but the model's understanding of the triple structure from what it can read. We show that ChatGPT achieves near state-of-the-art performance on some measures of the WebNLG 2020 challenge, but falls behind on others. Additionally, we compare factual, counter-factual and fictional statements, and show that there is a significant connection between what the LLM already knows about the data it is parsing and the quality of the output text.

연구 동기 및 목표

• 피팅 튜닝 없이 대규모 언어 모델을 사용한 zero-shot 지식 그래프-to-텍스트 생성의 가능성을 탐구하는 것.
• 지식 그래프 삼항관계의 사실성(사실적, 반대 사실적, 허구적)이 LLM 생성 품질에 어떻게 영향을 미치는지 평가하는 것.
• LLM 생성 텍스트의 문법적 일관성, 삼항관계 커버리지, 환각률을 평가하는 것.
• LLM의 사전 훈련 지식이 임의의 지식 그래프 정보를 정확하게 표현하는 데에 도움이 되는지 아니면 방해가 되는지 판단하는 것.
• 구조화된 데이터에서 개방 도메인, zero-shot 자연어 생성에 대한 LLM의 한계와 잠재력을 이해하는 데에 통찰을 제공하는 것.

제안 방법

• 피팅 튜닝 없이 OpenAI의 GPT-3.5-turbo(즉, ChatGPT)를 사용하여 지식 그래프 삼항관계에서 zero-shot 생성을 수행한다.
• 삼항관계를 자연어 프롬프트 형식으로 제시하며, LLM의 삼항관계 구조 이해 능력과 사전 훈련된 지식에 의존한다.
• WebNLG 2020 벤치마크와 사실적, 반대 사실적, 허구적 삼항관계를 포함한 새로 수집한 WikiData 기반 데이터셋에서 성능을 평가한다.
• Mechanical Turk를 통한 인간 평가를 통해 문법적 일관성, 삼항관계 커버리지, 환각률을 평가한다.
• 자동 메트릭과 수동 평가를 통해 참조 텍스트와 비교하여 사실성 일관성을 평가한다.
• 프롬프트 설계에 대한 분석 실험을 수행하고, 다양한 종류의 지식 그래프 문장에서의 모델 행동을 평가한다.

Figure 1: An example graph with three edges representing factual claims about its root entity. Fictional and counterfactual substitutions are listed as the second (in italics) and third (plain) row, respectively, of each entity (box).

실험 결과

연구 질문

• RQ1 LLM의 zero-shot 지식 그래프-to-텍스트 생성 성능은 WebNLG 2020 벤치마크에서 최첨단 피팅 튜닝 모델과 비교해 어떻게 되는가?
• RQ2 지식 그래프 삼항관계의 사실성(사실적, 반대 사실적, 허구적)은 LLM 생성 텍스트의 문법적 품질과 일관성에 어떻게 영향을 미치는가?
• RQ3 LLM이 입력 삼항관계를 생성 텍스트에 얼마나 잘 포함하는가? 이는 삼항관계 유형에 따라 어떻게 달라지는가?
• RQ4 LLM이 얼마나 자주 환각된 내용(입력 삼항관계에 없는 사실)을 생성하는가? 이는 사실성에 따라 어떻게 달라지는가?
• RQ5 LLM의 사전 훈련 지식과 그가 지식 그래프 데이터를 정확하게 표현할 능력 사이에는 어떤 관계가 있는가?

주요 결과

• ChatGPT는 WebNLG 2020 챌린지의 일부 자동 메트릭에서 거의 최첨단 성능을 달성하여 강력한 zero-shot 일반화 능력을 보여준다.
• 성능은 삼항관계 유형에 따라 크게 달라지며, 사실적 삼항관계에서 가장 높은 정확도로 생성되고, 반대 사실적 삼항관계가 다음으로, 허구적 삼항관계에서는 커버리지가 가장 낮고 환각률이 가장 높다.
• LLM의 사전 훈련 지식과 생성 텍스트 품질 사이에 강력한 상관관계가 있으며, 특히 사실적 문장에서 두드러진다.
• 반대 사실적 및 허구적 삼항관계에서 환각률이 더 높아, LLM이 입력이 자신의 세계 지식과 모순될 경우 텍스트 생성에 어려움을 겪는다는 것을 시사한다.
• 허구적 문장에서 삼항관계 커버리지가 가장 낮아, 지시를 받았음에도 불구하고 LLM이 텍스트 생성을 실패할 수 있음을 나타낸다.
• 프롬프트 설계가 성능에 상당한 영향을 미치는 것으로 밝혀졌지만, 최적의 프롬프트는 특정되지 않았으며, 모델 행동은 입력 유형과 사실성 일관성에 민감하다.