[論文レビュー] Forecasting Future World Events with Neural Networks

Andy Zou, Tristan Xiao+8 more|arXiv (Cornell University)|Jun 30, 2022

Computational and Text Analysis Methods被引用数 6

ひとこと要約

本稿では、専門家トーナメントの実際の予測質問と日付別整理されたニュースコーパスを用いて、イベント発生前の情報状況を模擬する、Autocastと呼ばれるベンチマークデータセットを紹介する。大規模モデルの性能向上やリtrieval-augmented訓練による改善にもかかわらず、言語モデルは依然として人間の専門家に大きく劣っており、二値予測においては65％の正確性にとどまるのに対し、人間は92％を記録しており、意思決定に基づく予測の自動化の難しさが浮き彫りになる。

ABSTRACT

Forecasting future world events is a challenging but valuable task. Forecasts of climate, geopolitical conflict, pandemics and economic indicators help shape policy and decision making. In these domains, the judgment of expert humans contributes to the best forecasts. Given advances in language modeling, can these forecasts be automated? To this end, we introduce Autocast, a dataset containing thousands of forecasting questions and an accompanying news corpus. Questions are taken from forecasting tournaments, ensuring high quality, real-world importance, and diversity. The news corpus is organized by date, allowing us to precisely simulate the conditions under which humans made past forecasts (avoiding leakage from the future). Motivated by the difficulty of forecasting numbers across orders of magnitude (e.g. global cases of COVID-19 in 2022), we also curate IntervalQA, a dataset of numerical questions and metrics for calibration. We test language models on our forecasting task and find that performance is far below a human expert baseline. However, performance improves with increased model size and incorporation of relevant information from the news corpus. In sum, Autocast poses a novel challenge for large language models and improved performance could bring large practical benefits.

研究の動機と目的

• 意思決定やAIの安全性における重要な課題である、判断に基づく予測タスクにおける言語モデルの現実的で妥当なベンチマークの開発。
• 多様で時間に依存する情報に基づく推論を要する予測タスクにおいて、厳密でデータ駆動型のLLMの評価が不足している問題に対処。
• ニュースコーパスを日付で整理することで、現実の予測状況を模擬し、未来の情報漏洩を防ぐ。
• ニュース情報と時間的推論を統合することで、言語モデルが専門家水準の予測を自動化できるかを調査。
• 特にレアなまたは高インパactsな出来事に対して、現在のLLMの限界を特定し、自動予測への過剰依存に伴うリスクを評価。

提案手法

• 専門家トーナメントから得た1,000件以上の予測質問を含む、Autocastと呼ばれるデータセットを収集。政治、経済、科学、社会分野をカバーし、多様な回答形式を含む。
• Common Crawlから得たニュースコーパスを日付別に整理し、モデルが予測日までに入手可能なニュースのみにアクセスできるように、時系列に整合した評価を可能にする。
• モデルに過去に利用可能なニュースのみを用いて、各タイムステップで予測を生成するよう訓練することで、リアルタイム予測を模擬。
• 推論時における関連ニューススニペットをモデルのコンテキストに組み込むために、リトリーブ・アンバーケッド・ジェネレーション（RAG）を活用。
• 標準的な指標（正確性、キャリブレーション、人間の予測との相関）を用いてモデルのパフォーマンスを評価。
• 複数の質問タイプと時間的スパンにおいて、モデルのパフォーマンスを、予測者の集団アグリゲートという強力な人間ベースラインと比較。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルが日付別整理されたニュースコーパスを学習することで、現実世界の多様で時間に依存する質問に対して、人間並みの予測性能を達成できるか？
• RQ2 モデルのサイズと関連ニュース情報へのアクセスが、予測の正確性とキャリブレーションに与える影響はどの程度か？
• RQ3 現在の言語モデルが、特に稀なまたは高インパクトな出来事において、人間の予測者が特定する重要な要因をどれだけ把握できていないか、その程度は？
• RQ4 パンデミックの感染者数や経済指標など、複数のオーダーの大きさを含む数値予測において、予測モデルはどの程度のパフォーマンスを示すか？
• RQ5 自動化された予測システムへの過剰依存に伴うリスク、特にテールリスクや意思決定の遅延に関して、どのような懸念があるか？

主な発見

• 最良の言語モデルでも、二値予測タスクにおいては65％の正確性にとどまり、人間の専門家ベースライン（92％）に比べて顕著な性能差が生じている。
• モデルのサイズが大きくなるほど、関連ニュースのリトリーブが行われるようになるとパフォーマンスが向上しており、情報へのアクセスとスケーリングが予測に重要であることが示された。
• キャリブレーションが著しく劣っており、とくに極端な確率値において、モデルは不確実な予測に対して過剰な自信を示している。
• 最新鋭のモデルですら、パンデミックの感染者数など、大きな値の範囲を含む数値予測においては、著しく低いパフォーマンスを示している。
• このデータセットは、モデルが「未知の未知」、つまり人間の予測者にとっても予測の範囲外にある重要な要因を捉えられていないことを明らかにしている。これは、システムリスクの検出におけるモデルの有用性を制限する要因となっている。
• 予測ツールは、自動化バイアスや低確率イベントの誤解釈により、不作為やリスクの高い行動を引き起こす可能性があり、システムリスクを増大させる。