[논문 리뷰] Knowledge-Augmented Language Model Prompting for Zero-Shot Knowledge Graph Question Answering

Jinheon Baek, Alham Fikri Aji외 1명|arXiv (Cornell University)|2023. 06. 07.

Topic Modeling인용 수 10

한 줄 요약

저자들은 KAPING을 제안하는데, 지식 그래프에서 검색된 과제 관련 사실로 LLM 프롬프트를 보강하여 미세조정 없이 제로샷 KGQA를 개선하는 제로샷 프레임워크이다.

ABSTRACT

Large Language Models (LLMs) are capable of performing zero-shot closed-book question answering tasks, based on their internal knowledge stored in parameters during pre-training. However, such internalized knowledge might be insufficient and incorrect, which could lead LLMs to generate factually wrong answers. Furthermore, fine-tuning LLMs to update their knowledge is expensive. To this end, we propose to augment the knowledge directly in the input of LLMs. Specifically, we first retrieve the relevant facts to the input question from the knowledge graph based on semantic similarities between the question and its associated facts. After that, we prepend the retrieved facts to the input question in the form of the prompt, which is then forwarded to LLMs to generate the answer. Our framework, Knowledge-Augmented language model PromptING (KAPING), requires no model training, thus completely zero-shot. We validate the performance of our KAPING framework on the knowledge graph question answering task, that aims to answer the user's question based on facts over a knowledge graph, on which ours outperforms relevant zero-shot baselines by up to 48% in average, across multiple LLMs of various sizes.

연구 동기 및 목표

• 내부 매개변수에 의존하는 제로샷 LLM QA의 사실 정확도 격차를 해소하고자 한다.
• 외부의 최신 KG 사실을 활용하여 프롬프트를 보강해 답변의 근거를 강화한다.
• 미세조정 없이 완전히 제로샷 프롬프트 솔루션을 제공한다.
• 질문과 관련된 트리플로 필터링이 성능과 효율성을 개선한다는 것을 보여준다.

제안 방법

• KG 트리플을 텍스트적 표현으로 나타내고 이를 질문 프롬프트 앞에 붙인다.
• 질문과 가장 의미적으로 유사한 상위 K개의 트리플을 문장 임베딩으로 검색한다.
• 질문 앞에 검색된 사실을 제시하는 지식 프롬프트를 사용해 LLM을 안내한다.
• 파라미터 업데이트 없이 다양한 데이터셋(WebQuestionsSP, Mintaka)과 다양한 LLM 크기에서 제로샷 KGQA를 평가한다.
• 검색 정확도, 지식 양, 정렬이 생성 성능에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 프롬프트에 외부 KG 지식을 보강하면 모델 학습 없이 제로샷 KGQA를 개선할 수 있는가?
• RQ2 의미적으로 유사한 KG 트리플을 선택하는 것이 QA 정확도와 효율성에 미치는 영향은 무엇인가?
• RQ3 제로샷 설정에서 서로 다른 LLM 크기와 KGQA 데이터셋에서 KAPING의 성능은 어떤가?

주요 결과

• KAPING은 데이터셋과 모델 크기에 상관없이 제로샷 LM 프롬프팅 기준선을 크게 능가한다.
• 상위 K개의 의미적으로 유사한 KG 트리플을 검색하고 주입하면 정확도가 향상되며, 무작위나 모든 트리플 확장은 성능을 해칠 수 있다.
• 작은 LMs는 지식 보강으로 더 큰 이득을 얻으며, 사실이 정확히 제공될 때 때때로 더 큰 모델의 성능에 근접한다.
• 1-hop 검색과 10-트리플 캡이 정확도와 효율성의 좋은 균형을 제공한다.
• MPNet 기반의 검색 품질은 무작위나 일반적인 트리플 베이스라인보다 답변의 근거를 잘 제시한다.
• 프롬프트에서 검색된 사실의 순서는 대부분의 LLM에 한해서는 영향이 제한적이며, 일부 모델에서는 민감도가 있음.