[論文レビュー] MenatQA: A New Dataset for Testing the Temporal Comprehension and Reasoning Abilities of Large Language Models

Yifan Wei, Yisong Su+6 more|arXiv (Cornell University)|Oct 8, 2023

Topic Modeling被引用数 4

ひとこと要約

MenatQAは、スコープ、順序、反事後的推論の3要因を考慮した、2,853件のサンプルから構成される新しいベンチマークデータセットであり、大規模言語モデル（LLMs）の時間的理解力と推論能力を評価することを目的としている。研究では、多数のLLMsが、時間的バイアスや曖昧な時間的手がかりの下で、より小さな専用モデルに比べて性能を発揮しないことが明らかになった。これは、LLMsにおける時間的推論の重大なギャップを示しており、特定のプロンプト設計やツール統合によって部分的に是正可能であることが示唆されている。

ABSTRACT

Large language models (LLMs) have shown nearly saturated performance on many natural language processing (NLP) tasks. As a result, it is natural for people to believe that LLMs have also mastered abilities such as time understanding and reasoning. However, research on the temporal sensitivity of LLMs has been insufficiently emphasized. To fill this gap, this paper constructs Multiple Sensitive Factors Time QA (MenatQA), which encompasses three temporal factors (scope factor, order factor, counterfactual factor) with total 2,853 samples for evaluating the time comprehension and reasoning abilities of LLMs. This paper tests current mainstream LLMs with different parameter sizes, ranging from billions to hundreds of billions. The results show most LLMs fall behind smaller temporal reasoning models with different degree on these factors. In specific, LLMs show a significant vulnerability to temporal biases and depend heavily on the temporal information provided in questions. Furthermore, this paper undertakes a preliminary investigation into potential improvement strategies by devising specific prompts and leveraging external tools. These approaches serve as valuable baselines or references for future research endeavors.

研究の動機と目的

• 大規模言語モデル（LLMs）の時間的要因に特化した推論能力がまだ十分に検討されていないことに対処すること、特に時間に依存する要因への感受性を明らかにすること。
• 先行研究で軽視されていた複数の時間的推論要因を捉える包括的なベンチマークデータセットを構築すること。
• 時間的要因の異なる制御された多様な条件下で、現在の主流のLLMsの時間的理解力と推論能力を評価すること。
• 時間的推論能力を向上させるための実用的戦略（例えば、専用プロンプトやツール学習）を調査すること。
• 今後のLLMsにおける時間的推論研究のための標準化された評価フレームワークとベースラインソリューションを提供すること。

提案手法

• MenatQAデータセットは2,853件のサンプルから構成され、スコープ要因が1,448件、順序要因が857件、反事後的要因が548件に分けられ、それぞれが異なる時間的推論の課題をテストしている。
• スコープ要因は、質問と文脈の間で不一致する時間的参照を是正できるかどうかを評価し、時間的区間推論を要する。
• 順序要因は、時系列順に並び替えられたイベントのシーケンスに対して推論を行う能力をテストし、暗黙の手がかりから時間的順序を再構築できるかを評価する。
• 反事後的要因は、変更されたイベントのタイムラインや未来の条件文など、仮説的時間的シナリオについての推論能力を評価する。
• データセットには、誤った出力を防ぐために回答不能な質問も含まれており、真の時間的理解を保証する。
• 改善戦略には、特定のプロンプト（例：スコープ、再順序、反事後的プロンプト）の設計と、時間的比較ツールの統合による推論の支援が含まれる。

実験結果

リサーチクエスチョン

• RQ1 主流のLLMsは、質問と文脈の間で不一致する時間的参照（スコープ要因）を含む時間的推論タスクで、どのように性能を発揮するか？
• RQ2 イベントのシーケンスがシャッフルされた状態で、LLMsはどれだけ正確な時間的順序を再構築できるか（順序要因）？
• RQ3 明示的な根拠なしに、仮説的または反事後的な時間的シナリオについてLLMsは効果的に推論できるか（反事後的要因）？
• RQ4 モデルのパrameter数とアーキテクチャは、異なる時間的要因における時間的推論性能にどのように影響するか？
• RQ5 LLMsの時間的推論能力を向上させるために、最も効果的なプロンプトおよびツールベースの戦略は何か？

主な発見

• GPT-3.5-turbo や OPT-175B を含む多数のLLMsは、スコープ、順序、反事後的要因のすべてにおいて、より小さな専用時間的推論モデル（BigBird や FiD）に比べて性能が劣っている。
• LLMsは時間的バイアスに対して顕著な脆弱性を示し、特にスコープ要因において、明示的な時間的手がかりに強く依存している。
• 時間的比較ツールを用いることでスコープ要因の性能は39.08％から37.78％に低下し、フィードバックの誤解によるツール統合の有効性が限定的であることが示された。
• パrameter数の増加は時間的推論能力の向上に寄与するが、最大のモデル（例：175Bパラメータモデル）ですら、より小さなタスク特化型モデルに及ばない。
• プロンプトベースの手法、特にスコープおよび反事後的プロンプトは明確な改善効果を示しており、ターゲットを絞ったプロンプト設計が時間的推論の欠陥を部分的に是正できることを示唆している。
• MenatQAに回答不能な質問を含めることで、幻覚的出力を効果的に抑制でき、真の時間的理解の評価がより信頼性あるものとなった。