[논문 리뷰] Reasoning Over Paragraph Effects in Situations

Kevin Lin, Oyvind Tafjord외 2명|arXiv (Cornell University)|2019. 08. 16.

Topic Modeling참고 문헌 17인용 수 8

한 줄 요약

ROPES는 새로운 상황에서 배경 문단의 원인-결과 관계에 대해 추론할 수 있는 능력을 평가하는 14,322道의 독해 평가 기준이다. 미세조정을 거친 RoBERTa-large를 사용함에도 불구하고 최고 성능 모델은 F1 점수 61.6%에 머물러 있으며, 이는 인간 성능(89.0%)에 비해 뚜렷이 낮아, 텍스트 지식을 새로운 맥락에 적용하는 데의 과제를 드러낸다.

ABSTRACT

A key component of successfully reading a passage of text is the ability to apply knowledge gained from the passage to a new situation. In order to facilitate progress on this kind of reading, we present ROPES, a challenging benchmark for reading comprehension targeting Reasoning Over Paragraph Effects in Situations. We target expository language describing causes and effects (e.g., "animal pollinators increase efficiency of fertilization in flowers"), as they have clear implications for new situations. A system is presented a background passage containing at least one of these relations, a novel situation that uses this background, and questions that require reasoning about effects of the relationships in the background passage in the context of the situation. We collect background passages from science textbooks and Wikipedia that contain such phenomena, and ask crowd workers to author situations, questions, and answers, resulting in a 14,322 question dataset. We analyze the challenges of this task and evaluate the performance of state-of-the-art reading comprehension models. The best model performs only slightly better than randomly guessing an answer of the correct type, at 61.6% F1, well below the human performance of 89.0%.

연구 동기 및 목표

• 지역적 사실 추출을 넘어서 새로운 상황에서 원인-결과 관계에 대한 추론 능력을 테스트하는 독해 평가 기준을 개발하기 위해.
• 기존 데이터셋이 지역적 술어-논항 구조에 집중하는 데 반해, 새로운 맥락에 지식을 적용하는 데에 대한 격차를 메우기 위해.
• 최첨단 모델이 배경 문단에서 유래한 원인-결과 이해를 실제 세계 상황에 일반화할 수 있는지 평가하기 위해.
• 다양한 추론 유형과 어휘 갭을 포함한 다양하고 고품질의 데이터셋을 구축하여 추론 일반화 능력을 시험하기 위해.

제안 방법

• 원인-결과 관계(원인과 결과 포함)에 중점을 두어 과학 교과서와 위키백과에서 배경 문단을 수집하였다.
• 현장 작업자들이 이러한 문단을 바탕으로 새로운 상황, 질문, 답변을 생성하여 원인 관계와의 일치를 확보하였다.
• 질문은 네 가지 추론 유형으로 분류되었다: 결과 비교, 원인 비교, 결과 예측, 원인 예측.
• annotation 아티팩트 편향을 줄이기 위해 훈련 세트와 테스트 세트의 annotator를 별도로 분리하였다.
• 기준 모델들은 RoBERTa를 사용해 ROPES에서 미세조정되었으며, 성능 향상을 위해 RACE pretraining을 추가로 실험하였다.
• 성능 기준을 확립하기 위해 무작위로 400개의 질문을 선정해 인간 평가를 실시하였다.

실험 결과

연구 질문

• RQ1 독해 모델들은 배경 문단에서 유도된 원인-결과 지식을 새로운 상황에서 결과를 추론하는 데 적용할 수 있는가?
• RQ2 배경, 상황, 질문 간의 어휘 갭과 다의어 표현이 모델 성능에 어떤 영향을 미치는가?
• RQ3 현재 모델에게 가장 도전적인 추론 유형은 비교, 예측, 또는 근거 제공 중 어느 것인가?
• RQ4 다수의 작업자로부터 유래한 annotation 아티팩트가 이 평가 기준에서 모델의 일반화 능력에 어떤 정도 영향을 미치는가?

주요 결과

• RACE pretraining을 적용한 RoBERTa-large가 가장 높은 성능을 보였으며, 테스트 세트에서 F1 점수 61.6%를 기록했고, 이는 이중 선택 질문에서 무작위 추측보다 약간 높은 정도였다.
• 동일한 테스트 세트에서 인간의 성능은 F1 점수 89.0%에 달해, 인간과 현재 모델 간의 추론 일반화 능력 격차가 뚜렷하다는 것을 시사한다.
• 다수의 질문이 결과 또는 원인 비교를 포함하여, 두 개의 서로 다른 원인 또는 결과 발생 사례를 근거로 하는 추론이 필요해 특히 도전적인 것으로 나타났다.
• 배경 문단이 제거되었을 경우 성능이 뚜렷이 저하되어 배경 지식이 정확한 추론에 필수적임을 확인하였다.
• 이 데이터셋은 다양한 추론 유형과 어휘 변동성을 보이며, 8%의 예시에서 명백하지 않은 근거 또는 일반 지식 추론이 포함되어 있었다.
• 모델들은 어휘 갭과 다의어 표현으로 인해 어려움을 겪었으며, 표면적 일치를 넘어서는 더 나은 의미 일반화 능력이 필요함을 시사한다.