[논문 리뷰] ForecastQA: A Question Answering Challenge for Event Forecasting

Woojeong Jin, Suji Kim외 5명|arXiv (Cornell University)|2020. 05. 02.

Topic Modeling인용 수 2

한 줄 요약

이 논문은 10,392개의 이벤트 예측 질문을 포함한 공동으로 수집된 다중 선택형 질문-답변 데이터셋인 ForecastQA를 소개한다. 이는 이벤트 예측을 QA 작업으로 재정의한 것이다. BERT 기반 모델을 사용하여 최고의 모델은 61.0%의 정확도를 달성하였으며, 인간 성능에 비해 뚜렷이 떨어지며 향후 연구에 있어 상당한 격차가 있음을 시사한다.

ABSTRACT

Event forecasting is a challenging, yet consequential task, as humans seek to constantly plan for the future. Existing automated forecasting approaches rely mostly on structured data, such as time-series or event-based knowledge graphs, to help predict future events. In this work, we formulate the forecasting problem as a restricted-domain, multiple-choice, question-answering (QA) task that simulates the forecasting scenario. To showcase the usefulness of this task formulation, we introduce a dataset ForecastQA, a question-answering dataset consisting of 10,392 event forecasting questions, which have been collected and verified via crowdsourcing efforts. We also present our experiments on ForecastQA using BERT-based models and find that our best model achieves 61.0\% accuracy on the dataset, which is still far behind human performance by about 18%. We hope ForecastQA will support future research efforts in bridging this gap.\footnote{\url{this https URL}}

연구 동기 및 목표

• 자동화된 이벤트 예측 문제를 제한된 도메인의 다중 선택형 질문-답변 작업으로 재정의하여 해결하고자 한다.
• 벤치마크 및 모델 개발을 지원하는 대규모이고 인간이 검증한 이벤트 예측 데이터셋을 구축하고자 한다.
• 신경망 모델의 예측 작업 성능을 평가하고 현재 모델과 인간 수준의 추론 간 격차를 규명하고자 한다.
• 표준화되고 접근 가능한 벤치마크를 제공하여 향후 예측 시스템 향상에 기여하고자 한다.

제안 방법

• 예측 문제를 다중 선택형 QA 작업으로 수식화하여, 문맥 기반의 이벤트 시퀀스를 바탕으로 미래의 사건에 대한 질문을 생성한다.
• 품질과 다양성을 확보하기 위해 공동으로 수집된 10,392개의 이벤트 예측 질문 데이터셋을 수집하고 검증한다.
• BERT 기반 모델을 ForecastQA 데이터셋에 맞추어 훈련시켜 다중 선택지 중 정답인 미래의 사건을 예측한다.
• 모델 평가에서는 유사한 실제 예측 시나리오를 시뮬레이션하기 위해 오답 선택지 중에서 정답을 올바르게 선택하는 정확도에 중점을 둔다.

실험 결과

연구 질문

• RQ1 이벤트 예측은 다중 선택형 질문-답변 작업으로 효과적으로 모델링될 수 있는가?
• RQ2 BERT 기반 모델은 대규모 공동 수집된 이벤트 예측 QA 벤치마크에서 얼마나 잘 성과를 내는가?
• RQ3 이 작업에서 최첨단 신경망 모델과 인간 예측자 간의 성능 격차는 어느 정도인가?
• RQ4 ForecastQA 데이터셋은 향후 예측 모델의 의미 있는 벤치마크를 지원하는 데 어느 정도 기여하는가?

주요 결과

• 최고의 BERT 기반 모델은 ForecastQA 데이터셋에서 61.0%의 정확도를 달성하여 향후 연구에 강력한 기초를 제공한다.
• 동일한 작업에서 인간의 성능은 최고의 모델보다 약 18% 높으며, 추론 및 맥락 이해 능력의 상당한 격차를 시사한다.
• ForecastQA 데이터셋은 10,392개의 고품질로 공동으로 수집된 이벤트 예측 질문을 포함하고 있어 예측 모델의 철저한 평가를 가능하게 한다.
• 이벤트 예측의 QA 기반 접근법은 향후 연구를 위한 구조적이고 확장 가능하며 해석 가능한 벤치마크를 제공한다.