[논문 리뷰] WikiWhy: Answering and Explaining Cause-and-Effect Questions

Matthew Ho, Aditya Sharma외 5명|arXiv (Cornell University)|2022. 10. 21.

Topic Modeling인용 수 8

한 줄 요약

WikiWhy는 위키백과 자료를 바탕으로 한 원인-결과 추론에 중점을 둔 새로운 질문-답변 데이터셋을 소개한다. 이 데이터셋은 9,000개가 넘는 '왜' 질문-답변-이유 설명 트리플을 포함하며, 자연어로 작성된 명시적인 이유 설명을 요구함으로써 LLM의 추론 능력을 평가하는 기준을 설정한다. GPT-3는 종단간 답변 및 설명 작업에서 정확도가 단 38.7%에 그쳐, 암기적 학습을 넘어서서 일반 지식 추론 능력 향상의 여지가 크다는 점을 시사한다.

ABSTRACT

As large language models (LLMs) grow larger and more sophisticated, assessing their "reasoning" capabilities in natural language grows more challenging. Recent question answering (QA) benchmarks that attempt to assess reasoning are often limited by a narrow scope of covered situations and subject matters. We introduce WikiWhy, a QA dataset built around a novel auxiliary task: explaining why an answer is true in natural language. WikiWhy contains over 9,000 "why" question-answer-rationale triples, grounded on Wikipedia facts across a diverse set of topics. Each rationale is a set of supporting statements connecting the question to the answer. WikiWhy serves as a benchmark for the reasoning capabilities of LLMs because it demands rigorous explicit rationales for each answer to demonstrate the acquisition of implicit commonsense knowledge, which is unlikely to be easily memorized. GPT-3 baselines achieve only 38.7% human-evaluated correctness in the end-to-end answer & explain condition, leaving significant room for future improvements.

연구 동기 및 목표

• 사실 기반 검색을 초월한 깊이 있는 추론 능력을 평가하는 기준이 부족한 문제를 해결하기 위해.
• LLM이 실제 세계 지식에 기반한 원인-결과 관계에 대해 타당하고 해석 가능한 설명을 생성할 수 있는지 조사하기 위해.
• 설명 품질을 분석하고 원인-결과 추론에서의 실패 원인(예: 순환적 추론)과 같은 패턴을 식별함으로써 LLM의 추론 실패를 진단하기 위해.
• 11개의 광범위한 주제에 걸쳐 깊이와 다양성을 균형 잡고 인간이 수작업으로 작성한 이유 설명을 확장 가능하게 개발하기 위해.
• 자유형 설명 생성 작업에서의 기초 성능 및 평가 지표를 설정하기 위해.

제안 방법

• 데이터셋은 위키백과 문단에서 유래하여 원인-결과 관계를 추출하고, 이에 해당하는 '왜' 질문과 답변을 구성한다.
• 각 항목에는 원인에서 결과로 이어지는 명시적인 연결을 보장하기 위해 다수의 지지 문장을 포함한 이유 설명이 포함되어 있어, 이해 가능성과 추론 깊이를 확보한다.
• 고승인율을 확보한 커스터마이징된 작업자들이 이유 설명을 생성하여 다양한 주제에 걸쳐 품질과 일관성을 확보한다.
• 정확도, 간결성, 유창성, 타당성의 네 가지 기준을 바탕으로 한 인간 평가 프레임워크를 설계하였으며, 기준 참조본과의 승패무승 비교 방식을 사용한다.
• GPT-2와 GPT-3를 세 가지 설정에서 평가: 종단간(답변 및 설명), 답변 전용, 그리고 정답을 오라클이 제공하는 조건에서의 답변 및 설명.
• 자동 평가 지표를 도입하고 인간 평가 결과와 상관관계를 분석하여 설명 품질 측정의 효과성을 검증한다.

실험 결과

연구 질문

• RQ1 LLM은 사실 기반 위키백과 자료에 기반한 원인-결과 관계에 대해 정확하고 중복되지 않는 설명을 생성할 수 있는가?
• RQ2 정답이 제공된 상황에서도 현재 LLM이 타당한 추론 체인을 생성하지 못하는 정도는 어느 정도인가?
• RQ3 자유형 추론 작업에서 설명 품질에 대한 인간 평가와 자동 평가 지표 간 상관관계는 얼마나 높은가?
• RQ4 모델이 동시에 답변과 이유 설명을 생성하도록 요구할 경우, 파이프라인 설정(정답 제공 후 설명만 생성)에 비해 성능 저하가 발생하는가?
• RQ5 원인-결과 추론에서 진정한 일반 지식 이해 부족을 나타내는 오류 패턴(예: 순환적 추론)은 무엇인가?

주요 결과

• GPT-3는 종단간 답변 및 설명 조건에서 인간 평가 기준으로 정확도가 단 38.7%에 그쳐, 추론 생성 능력에 심각한 한계가 있음을 시사한다.
• GPT-3의 주요 실패 원인은 원인-결과 관계를 그대로 반복하는 것이었으며(예: 'A이므로 B'), 암기적 학습을 넘어서는 깊이 있는 추론 능력 부족을 보여준다.
• 높은 유창성 점수를 기록한 많은 설명들이 여전히 타당성 없음 또는 잘못된 것으로 평가되어 언어 생성 실패가 아니라 추론 능력의 격차를 의미한다.
• 파이프라인 설정—정답이 제공되고 오직 설명만 생성되는 경우—는 종단간 생성보다 유의미하게 높은 성능을 보였으며, 이는 답변 생성이 오류의 주요 원인임을 시사한다.
• 기준과의 유사도는 설명 정확도와 강하게 상관관계를 보였으며, 이는 유사도 기반 지표를 품질의 대체 측정 수단으로 사용할 수 있음을 검증한다.
• 유창성, 타당성, 간결성에 대한 제안된 지표들은 인간 평가와 강한 상관관계를 보였으며, 향후 평가에 이 지표들의 활용을 지지한다.