[논문 리뷰] MenatQA: A New Dataset for Testing the Temporal Comprehension and Reasoning Abilities of Large Language Models

Yifan Wei, Yisong Su외 6명|arXiv (Cornell University)|2023. 10. 08.

Topic Modeling인용 수 4

한 줄 요약

MenatQA는 2,853개의 샘플을 포함하는 새로운 벤치마크 데이터셋으로, 대규모 언어 모델(Large Language Models, LLMs)의 시계열 이해 및 추론 능력을 범위, 순서, 반사적 추론의 세 가지 요인에 대해 평가하기 위해 설계되었다. 연구 결과, 대부분의 LLMs가 더 작은 전문화된 모델들보다 성능이 열 劣하며, 특히 시계열 편향과 모호한 시계열 신호에 취약함을 확인하여 LLM의 시계열 추론 능력에 여전히 심각한 격차가 있음을 드러내며, 특정 프롬프팅과 도구 통합을 통해 이 격차를 부분적으로 보완할 수 있음을 시사한다.

ABSTRACT

Large language models (LLMs) have shown nearly saturated performance on many natural language processing (NLP) tasks. As a result, it is natural for people to believe that LLMs have also mastered abilities such as time understanding and reasoning. However, research on the temporal sensitivity of LLMs has been insufficiently emphasized. To fill this gap, this paper constructs Multiple Sensitive Factors Time QA (MenatQA), which encompasses three temporal factors (scope factor, order factor, counterfactual factor) with total 2,853 samples for evaluating the time comprehension and reasoning abilities of LLMs. This paper tests current mainstream LLMs with different parameter sizes, ranging from billions to hundreds of billions. The results show most LLMs fall behind smaller temporal reasoning models with different degree on these factors. In specific, LLMs show a significant vulnerability to temporal biases and depend heavily on the temporal information provided in questions. Furthermore, this paper undertakes a preliminary investigation into potential improvement strategies by devising specific prompts and leveraging external tools. These approaches serve as valuable baselines or references for future research endeavors.

연구 동기 및 목표

• 대규모 언어 모델(LLMs)의 시계열 추론 능력이 시간에 민감한 요인에 얼마나 취약한지 다루기 위해.
• 이전 연구에서 간과된 다중 시계열 추론 요인을 포괄하는 종합적인 벤치마크 데이터셋을 구축하기 위해.
• 통제된 다양한 시계열 조건 하에서 현재 주류 LLMs의 시계열 이해 및 추론 성능을 평가하기 위해.
• 특수화된 프롬프팅과 도구 학습과 같은 실용적인 개선 전략이 LLM의 시계열 추론 능력을 향상시키는 데 어떻게 기여하는지 조사하기 위해.
• 향후 LLM의 시계열 추론 연구를 위한 표준화된 평가 프레임워크와 기준 솔루션을 제공하기 위해.

제안 방법

• MenatQA 데이터셋은 총 2,853개의 샘플로 구성되며, 범위 요인 1,448개, 순서 요인 857개, 반사적 요인 548개로 분할되어 있으며, 각 요소는 서로 다른 시계열 추론 과제를 테스트한다.
• 범위 요인은 질문과 맥락 간의 일관되지 않은 시간 참조를 조율할 수 있는 능력을 평가하며, 시간 간격 추론이 필요하다.
• 순서 요인은 뒤섞인 연속적인 시간적 사건 순서에 대한 추론 능력을 시험하며, 암시적 신호로부터 시간 순서를 재구성할 수 있는 능력을 평가한다.
• 반사적 요인은 가상의 시간적 시나리오, 예를 들어 변경된 사건 일정이나 미래 조건문에 대한 추론 능력을 평가한다.
• 허구적 출력을 방지하고 진정된 시계열 이해를 확보하기 위해 답변 불가 질문도 포함되어 있다.
• 개선 전략으로는 특정 프롬프트(예: 범위, 재정렬, 반사적 프롬프트) 설계와 추론를 안내하기 위한 시간 비교 도구 통합이 포함된다.

실험 결과

연구 질문

• RQ1 주류 LLMs는 질문과 맥락 간의 일관되지 않은 시간 참조(범위 요인)를 포함하는 시계열 추론 과제에서 어떻게 성능을 내는가?
• RQ2 사건 순서가 뒤섞였을 때 LLMs는 얼마나 잘 시간 순서를 재구성할 수 있는가(순서 요인)?
• RQ3 명시적인 기반 없이도 LLMs는 가상 또는 반사적 시계열 시나리오에 대해 효과적으로 추론할 수 있는가(반사적 요인)?
• RQ4 모델의 파rameter 수와 아키텍처는 다양한 시계열 요인에 따라 시계열 추론 성능에 어떤 영향을 미치는가?
• RQ5 LLMs의 시계열 추론 능력을 향상시키기 위해 가장 효과적인 프롬프팅 및 도구 기반 전략은 무엇인가?

주요 결과

• GPT-3.5-turbo와 OPT-175B와 같은 대부분의 LLMs는 범위, 순서, 반사적 요인 전반에서 더 작은 전문화된 시계열 추론 모델인 BigBird와 FiD보다 성능이 열 劣하다.
• LLMs는 시계열 편향에 매우 취약하며, 특히 범위 요인에서 명시적인 시계열 신호에 강하게 의존함을 보였다.
• 시간 비교 도구를 사용할 경우 범위 요인 성능이 39.08%에서 37.78%로 하락하여, 피드백 해석 오류로 인해 도구 통합의 유용성이 제한적임을 시사한다.
• 더 큰 파rameter 수는 시계열 추론 능력을 향상시키지만, 심지어 가장 큰 모델들(예: 175B 파rameter 모델)도 더 작은 작업 특화 모델에 비해 성능을 따라잡지 못한다.
• 프롬프팅 기반 방법, 특히 범위 및 반사적 프롬프트는 명백한 성능 향상을 보이며, 이는 목표 지향적 프롬프팅이 시계열 추론 결함을 부분적으로 보완할 수 있음을 시사한다.
• MenatQA에 답변 불가 질문을 포함시킴으로써 환상적 출력이 효과적으로 감소되어 진정된 시계열 이해를 평가하는 데 더 신뢰할 수 있는 기반을 마련했다.