[논문 리뷰] STREET: A Multi-Task Structured Reasoning and Explanation Benchmark

José A. Ribeiro, Shen Wang외 11명|arXiv (Cornell University)|2023. 02. 13.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 자연어 질의응답에서 구조적 추론 및 설명을 위한 다중 작업, 다중 도메인 벤치마크인 STREET를 소개한다. 이는 모델이 전제에서 결론으로 이어지는 텍스트 함의의 구조적 체인(이른바 추론 그래프)을 생성하도록 요구하며, 심지어 미세조정된 T5나 few-shot GPT-3와 같은 강력한 모델들도 일관되고 정확한 추론에서 크게 어려움을 겪고 있음을 드러내며, 현재 언어 모델의 설명 가능한 추론 능력에 있어 중대한 격차가 있음을 시사한다.

ABSTRACT

We introduce STREET, a unified multi-task and multi-domain natural language reasoning and explanation benchmark. Unlike most existing question-answering (QA) datasets, we expect models to not only answer questions, but also produce step-by-step structured explanations describing how premises in the question are used to produce intermediate conclusions that can prove the correctness of a certain answer. We perform extensive evaluation with popular language models such as few-shot prompting GPT-3 and fine-tuned T5. We find that these models still lag behind human performance when producing such structured reasoning steps. We believe this work will provide a way for the community to better train and test systems on multi-step reasoning and explanations in natural language.

연구 동기 및 목표

• 자연어 질의응답에서 추론과 설명 가능성을 동시에 평가할 수 있는 종합적인 벤치마크가 부족한 문제를 해결하기 위해.
• 다양한 추론 유형(예: 정량적, 분석적, 추론적)을 수반하는 다단계, 다중 도메인 추론을 통합한 프레임워크를 개발하기 위해.
• 전제가 결론으로 이어지는 방식을 추적할 수 있는 구조적, 단계별 설명(추론 그래프)을 요구함으로써 모델의 해석 가능성 향상하기 위해.
• 단순한 답변 예측을 넘어서 일관되고 정확한 추론 체인 생성 능력을 평가하기 위해 최신 언어 모델의 성능을 평가하기 위해.
• 다양한 도메인과 추론 복잡도 수준에서 추론 능력을 체계적으로 평가할 수 있도록 표준화된 다중 작업 벤치마크 제공하기 위해.

제안 방법

• 벤치마크는 맥락, 질문, 답변 선택지에서 추출한 원자적 추론 구성 요소로 Textual Logical Units(TLUs)를 도입한다.
• 각 질문은 다수의 중간 추론 단계로 구성된 추론 그래프와 연결되며, 각 단계는 TLUs에서 유도된 텍스트 함의이다.
• 추론 그래프는 전문가가 주석 처리한(14.7만 단계) 또는 프로그래밍적으로 생성된 것으로 구성되며, 총 35.8만 개의 질문에서 151.1만 개의 추론 단계를 포함한다.
• 데이터셋은 정량적 추론(GSM8K 등), 분석적 추론(AR-LSAT 등), 추론적/일상 지식 기반 추론의 세 도메인을 포함한다.
• 평가 지표는 생성된 추론 그래프와 기준 그래프 간의 구조적 및 의미적 일치를 검증하도록 설계되었으며, 단계 정확도와 논리적 일관성 포함.
• 모델 평가는 GPT-3의 few-shot 프롬프팅과 T5의 미세조정 방식으로 전체 벤치마크에서 수행되며, 답변 정확도와 추론 그래프의 정확성(신뢰도)을 성능 지표로 측정.

실험 결과

연구 질문

• RQ1 언어 모델는 자연어에서 전제로부터 유도된 답변을 정확하게 설명하는 구조적, 다단계 추론 그래프를 생성할 수 있는가?
• RQ2 현재의 대규모 언어 모델(GPT-3, 미세조정된 T5 등)은 다양한 추론 유형에서 일관되고 논리적으로 타당한 추론 체인을 생성하는 데 얼마나 잘 성과를 내는가?
• RQ3 정답을 도출한 경우조차도 모델이 답변을 환영하거나 잘못된 논리적 근거 없이 잘못된 추론 단계를 생성하는 정도는 어느 정도인가?
• RQ4 추론의 복잡도(예: 단계 수, 구조적 깊이)가 정확한 설명 생성 능력에 미치는 영향은 어떠한가?
• RQ5 추론 생성에서 주요 실패 유형은 무엇인가? 예를 들어 잘못된 논리, 계산 오류, 관련 없는 단계 삽입 등.

주요 결과

• 미세조정된 T5와 few-shot GPT-3는 기반 QA 과제에서 높은 답변 정확도를 달성하지만, 정확한 추론 그래프 생성에선 크게 뒤처지며, 답변 예측과 추론 설명 사이에 괴리가 있음을 시사한다.
• GPT-3의 약 28%의 추론 단계는 논리적 근거 없이 답변을 환영하며, 최종 답변이 정확하더라도 그렇다.
• GSM8K에서 잘못된 추론 단계의 약 12%는 계산 오류 때문이며, 이는 여전히 지속되는 정량적 추론 능력의 한계를 보여준다.
• AR-LSAT 과제에서 GPT-3 [davinci]는 종종 답변을 생성하지 못하며, 약 33%의 출력에서 응답이 포함되어 있지 않으며, 자주 결론을 도출하지 않고 TLUs를 그대로 복사한다.
• 모델는 복잡하고 다중 전제를 포함한 추론 상황에서 특히 일관성 없거나 관련 없는 추론 단계를 생성하는 경향을 보이며, 이는 강력한 추론 일반화 능력의 부족을 시사한다.
• 인간은 추론 그래프 생성에서 모델보다 훨씬 높은 성능을 보이며, 현재 언어 모델이 여전히 구조적이고 설명 가능한 추론 능력에서 뒤쳐져 있음을 확인한다.