[논문 리뷰] "Going on a vacation" takes longer than "Going for a walk": A Study of Temporal Commonsense Understanding

Ben Zhou, Daniel Khashabi외 2명|arXiv (Cornell University)|2019. 09. 06.

Topic Modeling참고 문헌 36인용 수 9

한 줄 요약

이 논문은 자연어 이해에서 시간적 공리성 이해를 평가하기 위한 커뮤니티 기반 데이터셋인 McTaco를 소개한다. 주로 지속 시간, 시간적 순서, 일반적인 시간, 빈도, 정적 상태의 다섯 가지 차원에 초점을 맞춘다. BERT 및 기타 모델을 McTaco에 적용한 결과, 심지어 최첨단 시스템이라도 인간 성능에 비해 뚜렷이 뒤처지는 것으로 나타났다—F1 점수는 69.9%와 42.7% EM을 기록한 반면 인간은 각각 87.1% F1과 75.8% EM을 기록하여 시간적 추론 능력에 심각한 격차가 있음을 시사한다.

ABSTRACT

Understanding time is crucial for understanding events expressed in natural language. Because people rarely say the obvious, it is often necessary to have commonsense knowledge about various temporal aspects of events, such as duration, frequency, and temporal order. However, this important problem has so far received limited attention. This paper systematically studies this temporal commonsense problem. Specifically, we define five classes of temporal commonsense, and use crowdsourcing to develop a new dataset, MCTACO, that serves as a test set for this task. We find that the best current methods used on MCTACO are still far behind human performance, by about 20%, and discuss several directions for improvement. We hope that the new dataset and our study here can foster more future research on this topic.

연구 동기 및 목표

• 자연어 이해에서 시간적 공리성의 여러 차원에 대한 성능를 체계적으로 연구하고 정량화하기 위해.
• 시간적 공리성에 대한 통합된 평가 프레임워크와 고품질 데이터셋의 부족은 중요시되지만 여전히 제대로 다뤄지지 않은 문제임을 해결하기 위해.
• 다양한 시간적 공리성 현상들을 고르게 반영하고 높은 표준의 표시 품질을 확보한 강력한 커뮤니티 기반 데이터셋(McTaco)을 개발하기 위해.
• 최첨단 자연어 처리 모델들—예: BERT와 ESIM—이 이 새로운 벤치마크에서 성능를 평가하여 현재의 한계를 규명하기 위해.
• 기존 모델들이 시간적 의미 해석에서 인간 수준의 이해에 훨씬 못 미친다는 점을 입증함으로써 향후 연구를 촉진하기 위해.

제안 방법

• 연구는 다섯 가지 시간적 공리성 유형을 정의한다: 지속 시간, 시간적 순서, 일반적인 시간, 빈도, 정적 상태로, 각각 다른 방식의 사건에 대한 추론이 요구된다.
• McTaco는 높은 품질의 일관성 있는 표시를 확보하기 위해 상세한 지침을 제공한 커뮤니티 기반 방식으로 구축된다.
• 과제는 이진 분류로 프레임워크화되며, 인간의 공리성에 기반해 후보 답변이 타당한지 여부를 판단하는 방식으로, 다수의 정답이 가능하다.
• 기준 모델로는 GloVe와 ELMo 임베딩을 사용한 ESIM, 그리고 단위 정규화 여부에 따라 BERT를 사용한다. 이는 수치적 시간 표현을 처리하기 위함이다.
• 성능 평가는 보류된 테스트 세트에서 F1 점수와 정확 일치(EM) 점수를 사용하며, 비교를 위해 인간 성능은 부분 집합에서 평가된다.
• 분석에는 각 카테고리별 성능 분해 분석이 포함되어 있으며, 특히 수치적 시간 단위 처리 및 범위 추론에서의 모델 약점 파악에 초점이 맞춰져 있다.

실험 결과

연구 질문

• RQ1 현재 최첨단 자연어 처리 모델들은 지속 시간, 빈도, 순서와 같은 다양한 시간적 공리성 현상에 대해 얼마나 잘 성능을 내는가?
• RQ2 BERT와 같은 사전 훈련된 언어 모델은 표면적 공존 관계를 넘어서 미세한 시간적 추론을 얼마나 잘 포괄할 수 있는가?
• RQ3 기존 모델들이 수치적 시간 표현에 대해 시간적 공리성 추론을 수행할 때 나타나는 주요 실패 유형은 무엇인가?
• RQ4 모델의 성능는 다양한 종류의 시간적 공리성에 따라 어떻게 달라지며, 이는 그들의 기초적인 추론 능력에 대해 무엇을 드러내는가?
• RQ5 단위 정규화는 수치적 값이 포함된 시간적 공리성 과제에서 모델의 일반화 능력을 향상시킬 수 있는가?

주요 결과

• 최고 성능 모델인 단위 정규화를 적용한 BERT는 McTaco에서 F1 점수 69.9%와 EM 점수 42.7%를 기록했으며, 인간의 성능(87.1% F1, 75.8% EM)에 비해 뚜렷이 뒤져 있다.
• 심지어 최첨단 언어 모델인 BERT도 타당한 지속 시간의 범위를 추론하는 데 어려움을 겪으며, 이산적인 시간 용어들을 독립적인 연관성으로만 간주하고 범위에 대한 추론을 하지 못한다.
• 모든 모델에서 F1 점수와 EM 점수 간 격차가 크며(30% 이상 격차), 이는 모델들이 일관된 시간적 추론보다 표면적 형식 매칭에 의존하고 있음을 시사한다.
• 시간적 추론 카테고리 간 성능에 뚜렷한 차이가 있으며, '정적 상태' 질문은 랜덤 베이스라인 수준이 높고 모델 성능는 낮아, 데이터나 과제 특성상의 과제가 있음을 시사한다.
• 인간 성능가 100%는 아니며, 이는 공리성 판단의 본질적 변동성과 함께 McTaco 데이터셋의 강건성과 품질을 확인한다.
• 최근 모델인 RoBERTa도 F1 점수 72.3%와 EM 점수 43.6%를 기록하여 점진적인 향상이 이루어졌음을 보여주지만 여전히 인간 수준의 이해에 못 미친다.