[논문 리뷰] EvEval: A Comprehensive Evaluation of Event Semantics for Large Language Models

Zhengwei Tao, Zhi Jin외 5명|arXiv (Cornell University)|2023. 05. 24.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 사건 의미 처리—이해, 추론, 예측—에 대해 대규모 언어 모델(Large Language Models, LLMs)을 평가하기 위한 종합적인 벤치마크인 EvEval을 소개한다. 8개의 데이터셋을 포함한다. 분석 결과, LLMs는 원인관계 및 의도적 추론에서 뛰어난 성능을 보이며 맥락 정보를 제공받을수록 성능이 향상되지만, 사건 간 의미적 유사성 이해 및 비원인관계 처리 능력은 여전히 제한되어 있으며, 사건의 구조적 표현 방식은 자연어 표현 방식과 유사한 성능을 보인다.

ABSTRACT

Events serve as fundamental units of occurrence within various contexts. The processing of event semantics in textual information forms the basis of numerous natural language processing (NLP) applications. Recent studies have begun leveraging large language models (LLMs) to address event semantic processing. However, the extent that LLMs can effectively tackle these challenges remains uncertain. Furthermore, the lack of a comprehensive evaluation framework for event semantic processing poses a significant challenge in evaluating these capabilities. In this paper, we propose an overarching framework for event semantic processing, encompassing understanding, reasoning, and prediction, along with their fine-grained aspects. To comprehensively evaluate the event semantic processing abilities of models, we introduce a novel benchmark called EVEVAL. We collect 8 datasets that cover all aspects of event semantic processing. Extensive experiments are conducted on EVEVAL, leading to several noteworthy findings based on the obtained results.

연구 동기 및 목표

• 이해, 추론, 예측을 포함하는 사건 의미 처리를 위한 종합적인 계층적 프레임워크 수립.
• LLMs의 사건 의미 처리 능력을 평가하기 위한 통합된 평가 벤치마크 부족 문제 해결.
• 체인오브thought(Chain-of-Thought, CoT) 프롬프팅 및 다양한 사건 표현 방식이 LLM의 사건 의미 처리 성능에 미치는 영향 탐구.
• 원인관계, 시간적 관계, 반정반사적 상황, 의도 등 다양한 차원에서 LLM의 사건 의미 처리 능력의 강점과 약점을 규명.
• 복잡한 사건 수준의 추론 및 예측을 다룰 수 있도록 향후 언어 모델을 개선하기 위한 실질적 통찰 제공.

제안 방법

• 이해(내부 및 외부 사건 관계), 추론(원인관계, 시간적 관계, 반정반사적 상황, 의도), 예측(스크립트 기반 및 스토리 기반)을 포함하는 삼단계 프레임워크 제안.
• 모든 사건 의미 처리 측면을 포함하는 8개의 다양한 데이터셋을 포함한 EvEval 벤치마크 구축.
• 추론 메커니즘을 연구하기 위해 체인오브thought(Chain-of-Thought, CoT) 프롬프팅 및 구조적 사건 표현 평가를 추가로 통합.
• 다양한 LLMs를 대상으로 EvEval을 활용해 이해, 추론, 예측 작업 전반의 성능 평가를 위한 광범위한 실험 수행.
• 모델의 일반화 능력과 추론 정밀도 평가를 위해 제로샷 및 피셔샷 프롬프팅 전략 모두 적용.
• 신뢰도 校정 및 CoT에서의 지식 활용도 등을 포함한 정량적·정성적 분석을 통해 모델 행동 평가.

실험 결과

연구 질문

• RQ1 대규모 언어 모델은 사건 간 의미적 유사성과 관계를 이해하는 데 얼마나 잘 수행하는가?
• RQ2 체인오브thought 프롬프팅은 사건 의미 처리 작업의 추론 능력을 얼마나 향상시키는가?
• RQ3 구조적 사건 표현 방식은 사건 처리 작업에서 자연어 표현 방식과 동등한 성능을 낼 수 있는가?
• RQ4 맥락 정보는 향후 사건에 대한 예측 능력에 어떤 영향을 미치는가?
• RQ5 사건 지식, 맥락, 패턴은 사건 의미 처리의 CoT 기반 추론을 향상시키는 데 어떤 역할을 하는가?

주요 결과

• LLMs는 개별 사건에 대한 이해 능력은 뛰어나지만, 사건 간 의미적 유사성 인식 능력은 뚜렷이 제한되어 있다.
• LLMs는 원인관계 및 의도적 관계 추론에서 강력한 능력을 보이며, 시간적 관계나 반정반사적 상황과 같은 다른 관계 유형에서는 성능 저하가 심각하게 나타난다.
• 특히 스토리 기반 예측 작업에서 맥락 정보가 증가할수록 향후 사건에 대한 예측 성능이 크게 향상된다.
• 사건 지식, 맥락, 순차적 패턴의 효과적 활용은 사건 의미 처리에서 CoT 기반 추론을 향상시키는 데 핵심적이다.
• 구조적 사건 표현 방식은 자연어 표현 방식과 유사한 성능을 달성하며, 효율적이고 해석 가능한 모델링 가능성을 시사한다.
• LLMs는 예측에 대해 높은 자신감을 보이지만, 원본 텍스트에 대한 충실도는 떨어져, 사건 추론 작업에서 환각 현상 위험이 존재한다.