[논문 리뷰] WIQA: A dataset for "What if..." reasoning over procedural text

Niket Tandon, Bhavana Dalvi Mishra외 3명|arXiv (Cornell University)|2019. 09. 10.

Topic Modeling참고 문헌 14인용 수 9

한 줄 요약

WIQA는 절차적 텍스트에서 유래한 40,700개의 다중선택형 '만약에...' 질문을 포함한 대규모 데이터셋을 소개한다. 이는 영향 체인에 대한 반사적 추론을 테스트하기 위해 설계되었으며, 인과적 영향을 분석하는 데에 초점을 맞춘다. 이 데이터셋은 인과 그래프를 활용해 군중으로부터 수집된 자료를 기반으로 제작되었으며, 최신 기술 모델이 보이는 정확도는 73.8%에 불과하여 인간 성능보다 22.5%포인트 낮게 나타나, 간접적이고 문단 외부의 변화에 대한 추론 능력 향상에 큰 도전 과제가 있음을 시사한다.

ABSTRACT

We introduce WIQA, the first large-scale dataset of "What if..." questions over procedural text. WIQA contains three parts: a collection of paragraphs each describing a process, e.g., beach erosion; a set of crowdsourced influence graphs for each paragraph, describing how one change affects another; and a large (40k) collection of "What if...?" multiple-choice questions derived from the graphs. For example, given a paragraph about beach erosion, would stormy weather result in more or less erosion (or have no effect)? The task is to answer the questions, given their associated paragraph. WIQA contains three kinds of questions: perturbations to steps mentioned in the paragraph; external (out-of-paragraph) perturbations requiring commonsense knowledge; and irrelevant (no effect) perturbations. We find that state-of-the-art models achieve 73.8% accuracy, well below the human performance of 96.3%. We analyze the challenges, in particular tracking chains of influences, and present the dataset as an open challenge to the community.

연구 동기 및 목표

• 절차적 텍스트에 대한 반사적 추론 평가를 위한 대규모 데이터셋 부족 문제를 해결하기 위해, 특히 변화의 영향을 예측할 수 있는 능력을 테스트하기 위함이다.
• 직접적인 영향 뿐 아니라 간접적(다단계) 및 문단 외부의 영향 체인까지 테스트할 수 있는 벤치마크를 만들기 위함이다.
• 기존의 NLP 모델이 일관성, 일반 지식 추론, 문단 간 인과적 의존성 추적 능력에 한계를 보이고 있음을 드러내어 도전 과제를 제기하기 위함이다.
• 영향 그래프 및 어휘적 다양성, 정성적 언어와 같은 의미적 현상에 대한 추론 연구를 지원할 수 있는 자원을 제공하기 위함이다.

제안 방법

• 379개의 절차적 문단에 대해 군중 작업자들이 영향 그래프(IG)를 생성하였으며, 이는 실체나 사건의 변화 간에 양(+) 또는 음(−)의 영향을 나타낸다.
• 각 영향 그래프는 방향성 있는 무게 없는 그래프이며, 노드는 변화(문단 내 또는 문단 외부)를 나타내고, 간선은 인과성의 극성(양성 또는 음성)을 나타낸다.
• 영향 그래프의 경로를 기반으로 다중선택형 질문을 유도하였으며, 템플릿은 '변화X는 변화Y를 초래하는가?'이며, 선택지로는 (A) 올바름, (B) 반대, (C) 영향 없음이 포함된다.
• 변화는 문단 내부(텍스트 내부), 문단 외부(일반 지식 필요), 또는 무관(영향 없음)으로 분류되어 추론의 광범위성을 테스트한다.
• 모델는 영향 그래프에 접근하지 못한 채, 오직 문단만을 기반으로 정답을 예측할 수 있는 능력을 평가한다.
• 논리적 일관성 평가를 위해 전이성과 배타적 일관성 메트릭을 사용하여, 영향 체인 전반에 걸친 모델 예측의 논리적 타당성을 평가한다.

실험 결과

연구 질문

• RQ1 NLP 모델은 특히 간접적 영향이나 문단 외부 지식이 필요한 경우 절차적 텍스트의 변화에 대한 결과를 정확히 예측할 수 있는가?
• RQ2 일반 지식 추론이 필요한 질문과 텍스트에 직접적으로 근거한 질문에 대해 모델의 성능는 어떻게 다른가?
• RQ3 다단계 영향 체인을 통해 추론할 때 모델은 얼마나 논리적으로 일관성을 유지하는가?
• RQ4 질적 언어, 부정, 어휘적 다양성과 같은 언어적 및 의미적 현상 중에서 현재 모델가 가장 어려움을 느끼는 요소는 무엇인가?

주요 결과

• 가장 성능이 뛰어난 BERT 기반 모델도 WIQA 데이터셋에서 73.8%의 정확도를 기록하였으며, 인간의 성능인 96.3%에 크게 못 미쳤다.
• 간접적 영향(2-단계 및 3-단계 체인)에 대해 성능이 크게 떨어져, 다단계 추론 능력 향상이 여전히 주요 과제로 남아 있음을 시사한다.
• 모델의 예측은 낮은 일관성을 보였다: 전이성 및 배타적 일관성 점수는 인간 수준에 훨씬 못 미쳤으며, 추론 과정에서 논리적 타당성이 떨어지는 것으로 나타났다.
• 약 65%의 변화 문장에서 정성적 언어(예: '더 많음', '더 시원함', '더 작아짐')가 사용되었으며, 45%는 문단 외부의 일반 지식이 필요하여 난이도가 높아졌다.
• 어휘적 다양성(예: '벌' 대신 '곤충')과 부정(예: '일어나지 않음')은 각각 15%와 6%의 변화에서 발견되어, 질문과 텍스트 간의 일치를 어렵게 했다.
• 이 데이터셋은 현재 모델가 인과적 체인을 추적하거나 전역 일관성 제약 조건을 적용하는 능력에 심각한 격차가 있음을 드러내며, 향후 개선된 추론 아키텍처 개발의 필요성을 시사한다.