[논문 리뷰] An Overview Of Temporal Commonsense Reasoning and Acquisition

Georg Wenzel, Adam Jatowt|arXiv (Cornell University)|2023. 07. 28.

Topic ModelingComputer Science인용 수 3

한 줄 요약

이 논문은 자연어처리(NLP) 분야에서 시간적 공통지식 추론(TCS)에 대한 종합적인 설문 조사로, 대규모 언어모델(LLM)이 표면적 작업에서는 뛰어난 성능을 보이지만 암묵적인 시간적 추론에서는 어려움을 겪는 점을 다룹니다. 데이터 증강, 지식 그래프 통합, 상징적 추론 융합 등의 방법을 검토하며, 얕은 추론과 언어적 편향으로 인해 모델과 인간 간의 지속적인 성능 격차를 강조합니다.

ABSTRACT

Temporal commonsense reasoning refers to the ability to understand the typical temporal context of phrases, actions, and events, and use it to reason over problems requiring such knowledge. This trait is essential in temporal natural language processing tasks, with possible applications such as timeline summarization, temporal question answering, and temporal natural language inference. Recent research on the performance of large language models suggests that, although they are adept at generating syntactically correct sentences and solving classification tasks, they often take shortcuts in their reasoning and fall prey to simple linguistic traps. This article provides an overview of research in the domain of temporal commonsense reasoning, particularly focusing on enhancing language model performance through a variety of augmentations and their evaluation across a growing number of datasets. However, these augmented models still struggle to approach human performance on reasoning tasks over temporal common sense properties, such as the typical occurrence times, orderings, or durations of events. We further emphasize the need for careful interpretation of research to guard against overpromising evaluation results in light of the shallow reasoning present in transformers. This can be achieved by appropriately preparing datasets and suitable evaluation metrics.

연구 동기 및 목표

• 이벤트 순서, 지속 시간, 일반적인 발생 시점에 대한 추론에 중점을 두어 NLP 분야에서 시간적 공통지식 추론(TCS)의 현재 상태를 분석하기.
• 최첨단 언어 모델이 분류 및 생성 작업에서 뛰어난 성능을 보이지만, 단서 학습과 언어적 편향으로 인해 깊이 있는 시간적 추론에 실패하는 이유를 탐구하기.
• 데이터 증강, 지식 그래프 통합(e.g., ATOMIC²⁰, ASER), 상징적 추론 기법이 TCS 능력을 향상시키는 데 얼마나 효과적인지 평가하기.
• 특히 강력한 평가 지표 하에서 모델과 인간 간의 지속적인 성능 격차를 특정하기.
• 과도하게 모델 능력을 과대평가하거나 향후 연구를 더 견고한 추론으로 이끄는 데 방해가 되지 않도록 신중한 데이터셋 정제와 평가 설계를 촉구하기.

제안 방법

• ATOMIC²⁰, COMET, ASER, ConceptNet 등의 기존 TCS 벤치마크, 데이터셋, 지식 그래프를 조사하여 핵심 TCS 차원을 규명하기.
• Transformer 기반 모델(e.g., BERT, RoBERTa, GPT-4)과 전용 시간 모델(e.g., TempoBERT, BiTimeBERT)을 명시적 및 암묵적 시간 신호를 사용해 TCS 작업에 적용하여 평가하기.
• 현장에서의 컨소시엄, 규칙 기반 웹 추출, 지식 그래프 정제를 통한 데이터 증강을 통해 훈련 데이터의 품질과 커버리지 향상하기.
• 확률적 소프트 논리 등 상징적 추론 기법을 신경망 모델과 융합하여 지속 시간, 우선순위, 빈도 등의 시간 관계를 명시적으로 인코딩하기.
• 앙상블 방법과 아키텍처 수정(e.g., 시간적 어텐션, 문서 생성 시간 삽입)을 통해 LMs의 시간적 추론 능력 향상하기.
• 정확도를 넘어서는 강력한 평가 지표를 사용하여 패턴 인식과 편향 악용을 탐지하기, 특히 악성 또는 분포 외 설정에서의 성능 평가.

Figure 1: Temporal reasoning and commonsense reasoning both encapsulate TCS reasoning, but also contain many other tasks

실험 결과

연구 질문

• RQ1 표준 벤치마크에서 뛰어난 성능을 보이지만, 왜 대규모 언어모델은 암묵적인 시간적 공통지식 추론을 일반화하지 못하는가?
• RQ2 ATOMIC²⁰, ASER 등 지식 그래프와 데이터 증강이 LMs의 시간적 추론 능력을 어느 정도 향상시킬 수 있는가?
• RQ3 상징적 추론 기법과 하이브리드 신경-상징적 접근법은 TCS에서 언어적 함정을 회피하는 데 얼마나 효과적인가?
• RQ4 학습 목표, 데이터 품질, 하이퍼파라미터는 다양한 Transformer 변종에서 TCS 성능에 어떤 역할을 하는가?
• RQ5 현재 평가 프로토콜은 왜 얕은 추론을 탐지하지 못하는가? 진정한 시간적 이해를 반영할 수 있는 지표는 무엇인가?

주요 결과

• 표준 NLP 작업에서 최첨단 성능을 보이지만, LLM은 종종 진정한 시간적 추론보다 언어 패턴과 편향에 의존하여 암묵적인 시간 관계에서 잘못된 추론을 내리곤 한다.
• ATOMIC²⁰ 및 ASER와 같은 지식 그래프로 미세조정된 모델은 이벤트 순서 및 시간 추론 작업에서 성능 향상을 보였지만, 여전히 인간 수준의 추론 능력에 못 미친다.
• 특히 확률적 소프트 논리 또는 신경-상징적 앙상블을 통한 상징적 추론 통합은 보조 목표를 갖는 순수 엔드 투 엔드 훈련보다 더 견고하고 설명 가능한 TCS 예측을 제공한다.
• 현장에서의 컨소시엄 및 약한 감독을 통한 데이터 증강은 드문 시간 관계의 커버리지 향상에 기여하지만, 애너테이션 품질과 분포 편향으로 인해 성능 향상은 국한된다.
• GPT-4는 일부 추론 작업에서 강력한 성능을 보이지만, 아키텍처가 투명하지 않으며 로컬 배포에 접근이 불가능하여 특정 TCS 연구에 활용도가 제한된다.
• 강력한 평가 지표는 모델가 종종 진정한 시간 지속, 순서, 빈도 이해 없이 추측이나 패턴 매칭을 통해 정답에 도달함을 드러낸다.

Figure 2: The distribution of publication dates in the surveyed core literature