[論文レビュー] ForecastQA: A Question Answering Challenge for Event Forecasting

Woojeong Jin, Suji Kim+5 more|arXiv (Cornell University)|May 2, 2020

Topic Modeling被引用数 2

ひとこと要約

本稿では、10,392件のイベント予測質問を含む、クラウドソーシングによる複数選択式の質問・回答データセット「ForecastQA」を紹介する。イベント予測をQAタスクとして定式化し、BERTベースのモデルを用いて評価したところ、最高で61.0%の正答率を達成したが、これは人間の性能に比べて顕著に低い結果であり、今後の研究における大きなギャップを示している。

ABSTRACT

Event forecasting is a challenging, yet consequential task, as humans seek to constantly plan for the future. Existing automated forecasting approaches rely mostly on structured data, such as time-series or event-based knowledge graphs, to help predict future events. In this work, we formulate the forecasting problem as a restricted-domain, multiple-choice, question-answering (QA) task that simulates the forecasting scenario. To showcase the usefulness of this task formulation, we introduce a dataset ForecastQA, a question-answering dataset consisting of 10,392 event forecasting questions, which have been collected and verified via crowdsourcing efforts. We also present our experiments on ForecastQA using BERT-based models and find that our best model achieves 61.0\% accuracy on the dataset, which is still far behind human performance by about 18%. We hope ForecastQA will support future research efforts in bridging this gap.\footnote{\url{this https URL}}

研究の動機と目的

• 自動化されたイベント予測の課題に取り組むために、イベント予測を制限されたドメインにおける複数選択式の質問・回答タスクとして再定式化すること。
• ベンチマーク評価とモデル開発を支援する大規模かつ人間による検証済みのイベント予測データセットを構築すること。
• ニューラルモデルの予測タスクにおける性能を評価し、現在のモデルと人間レベルの推論能力とのギャップを特定すること。
• 標準化され、アクセス可能なベンチマークを提供することで、今後の予測システムの改善に関する研究を支援すること。

提案手法

• 予測問題を、文脈的なイベント系列に基づいて将来の出来事について質問を生成する複数選択式QAタスクとして定式化する。
• 品質と多様性を確保するため、10,392件のイベント予測質問データセットをクラウドソーシングにより収集・検証した。
• BERTベースのモデルをForecastQAデータセット上で微調整し、複数の選択肢の中から正しい将来の出来事の予測を行う。
• モデルの評価は、誘導的選択肢の中から正しい将来の出来事を正しく選ぶ精度に焦点を当て、現実世界の予測シナリオを模倣する。

実験結果

リサーチクエスチョン

• RQ1 イベント予測は、複数選択式の質問・回答タスクとして効果的にモデル化可能か？
• RQ2 BERTベースのモデルは、大規模かつクラウドソーシングされたイベント予測QAベンチマーク上でどれほど高い性能を示すか？
• RQ3 このタスクにおいて、最先端のニューラルモデルと人間の予測者との間には、どの程度の性能ギャップが存在するか？
• RQ4 ForecastQAデータセットは、今後の予測モデルのための意味のあるベンチマーク評価をどの程度サポートできるか？

主な発見

• 最高のBERTベースのモデルは、ForecastQAデータセットで61.0%の正答率を達成し、今後の研究における強固なベースラインを示している。
• 人間の性能は、最高のモデルよりも約18%高いことが判明し、推論力および文脈理解力における顕著なギャップがあることを示している。
• ForecastQAデータセットには、10,392件の高品質でクラウドソーシングされたイベント予測質問が含まれており、予測モデルの堅実な評価を可能にしている。
• イベント予測のQAベースの定式化により、構造的でスケーラブルかつ解釈可能なベンチマーク評価が今後の研究に可能になる。