[論文レビュー] EvEval: A Comprehensive Evaluation of Event Semantics for Large Language Models

Zhengwei Tao, Zhi Jin+5 more|arXiv (Cornell University)|May 24, 2023

Topic Modeling被引用数 6

ひとこと要約

本稿では、8つのデータセットを備えた包括的ベンチマーク「EvEval」を紹介し、大規模言語モデル（LLMs）のイベント意味的処理（理解、推論、予測）を評価する。その結果、LLMsは因果的および意図的推論において優れた性能を示し、文脈情報の提供によりさらに向上するが、イベント間の意味的類似性の把握や非因果的関係の処理においては依然として限界がある。また、構造的イベント表現は自然言語表現と同等の性能を示しており、イベント処理タスクにおける有効性が示唆される。

ABSTRACT

Events serve as fundamental units of occurrence within various contexts. The processing of event semantics in textual information forms the basis of numerous natural language processing (NLP) applications. Recent studies have begun leveraging large language models (LLMs) to address event semantic processing. However, the extent that LLMs can effectively tackle these challenges remains uncertain. Furthermore, the lack of a comprehensive evaluation framework for event semantic processing poses a significant challenge in evaluating these capabilities. In this paper, we propose an overarching framework for event semantic processing, encompassing understanding, reasoning, and prediction, along with their fine-grained aspects. To comprehensively evaluate the event semantic processing abilities of models, we introduce a novel benchmark called EVEVAL. We collect 8 datasets that cover all aspects of event semantic processing. Extensive experiments are conducted on EVEVAL, leading to several noteworthy findings based on the obtained results.

研究の動機と目的

• イベント意味的処理の包括的階層的フレームワーク（理解、推論、予測）を確立すること。
• LLMsのイベント意味的処理能力を評価する統一されたベンチマークが不足しているという課題に対処すること。
• チェーン・オブ・スコーズ（CoT）プロンプティングおよび異なるイベント表現が、LLMsのイベント意味的処理におけるパフォーマンスに与える影響を調査すること。
• 因果性、時間的順序、反事後的推論、意図といった複数の次元におけるLLMsのイベント意味的処理における強みと弱みを特定すること。
• 将来的な言語モデルが複雑なイベントレベルの推論と予測を効果的に行うために改善すべき点を示唆する実用的知見を提供すること。

提案手法

• 理解（イベント内およびイベント間関係）、推論（因果性、時間的順序、反事後的推論、意図）、予測（スクリプトベースおよびストーリー基地）の3段階フレームワークを提案。
• 理解、推論、予測の全分野をカバーする8つの多様なデータセットを含む「EvEval」というベンチマークを構築。
• 推論メカニズムの研究を目的として、チェーン・オブ・スコーズ（CoT）プロンプティングおよび構造的イベント表現の評価という2つの追加プローブタスクを統合。
• 複数のLLMsを用いてEvEval上で広範な実験を実施し、理解、推論、予測タスクにおけるパフォーマンスを評価。
• モデルの汎化能力および推論の整合性を評価するため、ゼロショットおよびフェイシュットプロンプティング戦略を適用。
• 信頼度のキャリブレーションおよびCoTにおける知識活用度を含む、モデル行動の定性的および定量的分析を実施。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルは、イベント間の意味的類似性および関係をどの程度正しく理解できるか？
• RQ2 チェーン・オブ・スコーズプロンプティングは、イベント意味的タスクにおける推論をどの程度向上させるか？
• RQ3 構造的イベント表現は、イベント処理において自然言語表現と同等の性能を達成できるか？
• RQ4 文脈情報は、将来のイベント予測能力にどの程度影響を与えるか？
• RQ5 イベント知識、文脈、パターンは、イベント意味的処理におけるCoTベース推論を強化するために果たす役割は何か？

主な発見

• LLMsは個々のイベントの理解には優れているが、イベント間の意味的類似性を把握する能力は顕著に制限されている。
• LLMsは因果的および意図的関係において強力な推論能力を示すが、時間的順序や反事後的推論といった他の関係タイプでは性能が著しく低下する。
• 文脈情報の増加に伴い、特にストーリー基地予測タスクにおいて、将来のイベント予測性能が顕著に向上する。
• イベント知識、文脈、および順序的パターンの有効な活用は、イベント意味的処理におけるCoT推論の強化に不可欠である。
• 構造的イベント表現は、自然言語表現と同等の性能を達成しており、効率的かつ解釈可能なモデリングの可能性を示唆している。
• LLMsは予測に対して高い自信を示すが、しばしば元のテキストからの整合性を欠くため、イベント推論タスクにおける幻覚のリスクが顕在化している。