[논문 리뷰] Make a Choice! Knowledge Base Question Answering with In-Context Learning

Chuanyuan Tan, Yuehe Chen외 2명|arXiv (Cornell University)|2023. 05. 23.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 지식 기반 질의 응답(KBQA) 프레임워크인 McL-KBQA를 제안하며, 대규모 언어 모델(LLM)을 활용한 문맥 내 학습(ICL)을 통해 자원이 부족한 환경에서의 일반화 능력을 향상시킵니다. 질문을 순위 기반 방법을 사용해 다중 선택 형식으로 변환하고, 사슬-of-thought(Chain-of-Thought, CoT) 프롬프팅을 적용한 ICL을 통해 LLM 예측과 기존의 KBQA 방법을 융합 전략을 통해 결합함으로써, 특히 WebQSP 및 GrailQA에서 소수의 예시(few-shot) 설정에서 최신 기술 수준의 성능을 달성합니다.

ABSTRACT

Question answering over knowledge bases (KBQA) aims to answer factoid questions with a given knowledge base (KB). Due to the large scale of KB, annotated data is impossible to cover all fact schemas in KB, which poses a challenge to the generalization ability of methods that require a sufficient amount of annotated data. Recently, LLMs have shown strong few-shot performance in many NLP tasks. We expect LLM can help existing methods improve their generalization ability, especially in low-resource situations. In this paper, we present McL-KBQA, a framework that incorporates the few-shot ability of LLM into the KBQA method via ICL-based multiple choice and then improves the effectiveness of the QA tasks. Experimental results on two KBQA datasets demonstrate the competitive performance of McL-KBQA with strong improvements in generalization. We expect to explore a new way to QA tasks from KBQA in conjunction with LLM, how to generate answers normatively and correctly with strong generalization.

연구 동기 및 목표

• 대규모 지식 기반에서 장기 꼬리(factoid) 정보를 다루는 데 제한된 애너테이션 데이터로 인해 발생하는 KBQA의 일반화 과제를 해결한다.
• 소수의 예시(few-shot) 추론 능력을 지닌 대규모 언어 모델(LLM)을 활용해 자원이 부족한 환경에서의 KBQA 성능을 향상시킨다.
• 직접 LLM에 프롬프팅할 경우 흔히 발생하는 환각 및 답변 형식 불일치 문제를 해결하기 위해, 작업을 다중 선택 선택지 형식으로 재구성한다.
• 순위 기반 KBQA 방법과 LLM 예측의 출력을 융합하는 전략을 개발하여 전체 정확도를 향상시킨다.
• ICL 프롬프트에 사슬-of-Thought(CoT) 설명을 통합하여 복잡한 질문에 대한 LLM 추론 능력을 제약 조건을 고려해 향상시킨다.

제안 방법

• 순위 기반 KBQA 방법이 생성한 후보 논리 형식을 사용해 원본 사실 기반 질문을 다중 선택 형식으로 변환한다.
• 소수의 예시를 샘플링하여 문맥 내 학습(ICL) 프롬프트를 구성하며, 이는 질문, 선택지, 정답 및 해당 논리 형식을 포함한다.
• 사슬-of-Thought(CoT) 프롬프팅을 통해 제약 조건 정보와 질문의 답변 유형을 추출하여 추론 품질을 향상시킨다.
• 정규 표현식을 사용해 LLM 출력에서 선택된 선택지의 알파벳 기호를 자동으로 추출하여 해당 논리 형식에 매핑한다.
• 랭커의 신뢰도가 낮을 경우 LLM 예측을 선택하고, 그렇지 않으면 랭커의 출력을 기본으로 사용하는 결과 융합 전략을 구현한다.
• 최종 논리 형식을 지식 기반에서 실행하여 답변을 검색하며, 두 방법의 강점을 결합한다.

실험 결과

연구 질문

• RQ1 LLM을 활용한 문맥 내 학습이 애너테이션 데이터가 부족한 자원이 부족한 환경에서 KBQA의 일반화 능력을 향상시키는가?
• RQ2 순위 기반 방법을 통해 KBQA를 다중 선택 형식으로 변환함으로써 LLM의 성능 향상과 환각 감소 효과가 있는가?
• RQ3 ICL 프레임워크 내에서 사슬-of-Thought(CoT) 프롬프팅이 LLM 추론 능력을 어느 정도 향상시키는가?
• RQ4 제안된 결과 융합 전략이 순위 기반 방법과 LLM의 예측을 융합하여 전체 정확도 향상에 얼마나 효과적인가?
• RQ5 이 프레임워크는 표준 KBQA 벤치마크에서 다양한 소수의 예시(few-shot) 및 전수의 예시(full-shot) 설정에서 일관된 성능 향상을 달성할 수 있는가?

주요 결과

• WebQSP의 5% 소수의 예시 설정에서 LLM 기반 컴포넌트가 순위 기반 방법보다 19.28%의 질문에서 성능을 뛰어넘어 강력한 보완 잠재력을 보였다.
• 결과 융합 전략은 최종 출력이 개별 구성 요소보다 뛰어난 질문 비율을 5% 설정에서 0.61% 향상시키고, 전수 설정에서는 2.01% 향상시켰다.
• 사슬-of-Thought(CoT) 프롬프팅은 ICL 성능을 일관되게 향상시켰으며, CoT 설정에서 93.52%의 LLM 출력이 유효한 선택지 알파벳 기호와 정확히 일치했다.
• 자동 선택지 매칭 방법은 ICL에서 96.36%의 성공률, CoT에서는 93.52%의 성공률를 기록하여 뛰어난 견고성을 입증했다.
• LLM이 일부 경우에 환각되거나 잘못된 답변을 생성할 수는 있으나, 융합 전략과 CoT 기반의 제약 인식 추론을 통해 이러한 실패를 감소시켰다.
• McL-KBQA는 WebQSP 및 GrailQA 모두에서 경쟁 가능한 성능을 달성하였으며, 특히 소수의 예시 조건에서 뚜렷한 향상이 있었고, 자원이 부족한 KBQA 환경에서의 효과성을 입증했다.