[論文レビュー] Unlocking Temporal Question Answering for Large Language Models with Tailor-Made Reasoning Logic

Xingxuan Li, Liying Cheng+4 more|arXiv (Cornell University)|May 24, 2023

Topic Modeling被引用数 5

ひとこと要約

本論文は、文脈抽出に大規模言語モデル（LLM）を活用し、論理的時間的推論には外部のPythonソルバーを用いるハイブリッドフレームワークを提案する。この手法により、TempReason や TimeQA といった困難なベンチマークで、標準的なプロンプトとチェーン・オブ・スコーズ（CoT）ベースラインに比べ、最大39%の相対的改善が達成された。

ABSTRACT

The temporal aspect is a significant dimension of our reality. We notice the challenge that large language models (LLMs) face when engaging in temporal reasoning. Our preliminary experiments show that methods involving the generation of intermediate reasoning steps, such as chain-of-thought and program-aided language models, do not consistently boost the performance of complex temporal question-answering tasks. This limitation can be attributed to the LLMs' inadequate understanding of temporal information. To address this problem, we propose TempLogic, a novel framework designed specifically for temporal question-answering tasks across three levels of reasoning. TempLogic incorporates retrieval-guided context distillation, temporal data extraction, and tailor-made logic reasoning. Extensive experiments and analysis demonstrate the effectiveness of our framework in solving intricate time-bound reasoning tasks.

研究の動機と目的

• 時間的質問応答タスクにおけるチェーン・オブ・スコーズ（CoT）プロンプトの継続的失敗、特に誤った中間的推論ステップに起因する問題を解決すること。
• LLMに内在する時間的理解の欠如を補うために、論理的推論に外部のPythonソルバーを統合すること。
• 複数正解を含む時間的QAタスクに特化した、より厳密な評価指標である厳密一致（SEM）を提案すること。
• LLMを用いた情報抽出と実行可能なコードによる推論を組み合わせることで、時間的推論ベンチマークで優れたパフォーマンスを達成すること。

提案手法

• フレームワークは、自然言語の文脈や質問から、日付や出来事の順序など、構造化された時間的情報をLLMを用いて抽出する。
• 抽出された情報は、時間的関係や制約をモデル化する実行可能なPythonコードに変換される。
• 外部のPythonインタプリタがコードを実行し、最終的な答えを導出することで論理的正しさが保証される。
• 推論と自然言語生成を分離することで、不適切な中間ステップに起因するエラーが低減される。
• 複数正解を含む時間的QAシナリオにおける正しさを評価するため、厳密一致（SEM）指標が導入される。
• アブレーションスタディでは、コード実行の有無を比較し、ソルバーの必要性を検証する。

実験結果

リサーチクエスチョン

• RQ1 チェーン・オブ・スコーズプロンプトは、複雑な時間的質問応答タスクにおいて一貫してパフォーマンスを向上させるのか？
• RQ2 LLMを用いた情報抽出と外部コード実行を組み合わせることで、時間的QAにおける推論の正確性が向上するのか？
• RQ3 CoTプロンプトにおける要素の順序が、時間的推論タスクのパフォーマンスに与える影響は何か？
• RQ4 自然言語による推論と比較して、実行可能なコードを中間的推論ステップとして用いる影響は何か？
• RQ5 提案された厳密一致（SEM）指標は、複数正解を含む時間的QAタスクの評価においてどれほど有効か？

主な発見

• 標準的プロンプトに比べ、L2 Singleタスクでは21.2%、L3 Singleタスクでは最大39%のパフォーマンス向上を達成した。
• L2 Multiタスクでは、標準的プロンプトに比べ32.17%の改善を示し、複数正解シナリオにおいて顕著な向上を確認した。
• TempReasonでは、チェーン・オブ・スコーズ手法が標準的プロンプトを下回り、特定のプロンプト順序ではSEMスコアが0.2%にまで低下した。これは中間的推論ステップの信頼性の低さを示している。
• アブレーションスタディの結果、コード実行を無効化すると、L2 Singleでは61.2%、L2 Multiでは33.8%にまでパフォーマンスが低下し、標準的プロンプトのベースラインを下回った。
• 外部のPythonソルバーは不可欠である。実行がなければ、単純なベースラインを上回ることができず、論理的正しさを保証する上で中心的な役割を果たしていることが確認された。
• CoT手法とは異なり、このフレームワークは複雑な時間的質問において複数の正しい答えを正しく同定できた。