[논문 리뷰] TORQUE: A Reading Comprehension Dataset of Temporal Ordering Questions

Qiang Ning, Hao Wu외 4명|arXiv (Cornell University)|2020. 05. 01.

Topic Modeling참고 문헌 39인용 수 4

한 줄 요약

TORQUE는 3.2K개의 뉴스 스크립트와 21K개의 인간 레이블 질문을 포함한 새로운 독해 이해 데이터셋으로, 사건 간의 시간적 순서를 타겟으로 한다. 이는 자연어 질문을 통해 모델이 사건 순서를 추론할 수 있는 능력을 평가하며, RoBERTa-large는 정확도 51%를 기록했고, 이는 인간 성능보다 30% 낮은 수준으로, NLP 시스템의 시간적 추론 능력에 있어 심각한 격차를 드러낸다.

ABSTRACT

A critical part of reading is being able to understand the temporal relationships between events described in a passage of text, even when those relationships are not explicitly stated. However, current machine reading comprehension benchmarks have practically no questions that test temporal phenomena, so systems trained on these benchmarks have no capacity to answer questions such as "what happened before/after [some event]?" We introduce TORQUE, a new English reading comprehension benchmark built on 3.2k news snippets with 21k human-generated questions querying temporal relationships. Results show that RoBERTa-large achieves an exact-match score of 51% on the test set of TORQUE, about 30% behind human performance.

연구 동기 및 목표

• 기존 독해 이해 벤치마크가 주로 공명성과 실체 관계에 초점을 맞추고 있음에도 불구하고, 시간적 추론 평가의 부족을 해결한다.
• 시스템이 암시적인 관계를 포함해 사건 간 시간적 순서를 추론할 수 있도록 테스트하는 대규모, 자연어 질의 응답 데이터셋을 개발한다.
• 모델이 미묘한 언어적 신호에 민감하게 반응하는지 테스트하기 위해 대비되는 시간적 키워드(예: 전/후/동안)를 사용한 질문을 생성하는 확장 가능한 고품질 커스텀 조사 파이프라인을 구축한다.
• 문장 경계를 넘어서는 복잡한 시간적 현상, 예를 들어 사건 지속 시간, 다중 사건 순서, 시간적 범위 등을 포괄하는 벤치마크를 제공한다.
• 공개된 데이터셋과 코드베이스를 제공하여 향후 신경망 모델의 시간적 추론 능력 향상 연구를 가능하게 하고, 재현 가능한 평가를 지원한다.

제안 방법

• 시간적 역동성이 있는 다수의 사건을 포함한 서사적 구조를 가진 3.2K개의 뉴스 스크립트를 TempEval3 데이터셋에서 수집한다.
• 현장 작업자들을 활용해 정의된 사건 스키마를 사용해 텍스트 내 사건을 레이블링하며, 사건으로서의 동사어 및 그 목적어를 식별한다.
• 자연어로 작성된 21K개의 질문을 생성하여 시간 관계를 묻는 질문(예: 'X 이전에 무슨 일이 있었는가?')을 중심으로 하며, 전, 후, 동안 등의 시간적 키워드를 중점적으로 활용한다.
• 모델의 탄력성 테스트를 위해 대비 질문 쌍(예: '전'을 '후'로 변경)을 포함시킨다.
• 데이터 품질 향상과 데이터 수집 오염 감소를 위해 전체 데이터의 20%를 추가 현장 작업자들이 검증하여 테스트 세트를 구성한다.
• RoBERTa-large와 같은 최신 기술 모델을 데이터셋에 맞게 미세조정하고, 테스트 세트에서 정확도 정확도(Exact-match)로 평가한다.

실험 결과

연구 질문

• RQ1 관계가 암시적이거나 문장 간 추론이 필요한 경우 기존 독해 이해 모델이 사건 간 시간적 순서를 정확히 추론할 수 있는가?
• RQ2 현재 모델은 자연어 질문에서 시간적 키워드의 미세한 변화(예: '전' 대비 '후')에 얼마나 민감한가?
• RQ3 모델이 사건 지속 시간, 지속 상태, 또는 즉각적인 맥락을 초월한 시간적 범위를 이해하지 못하는 정도는 어느 정도인가?
• RQ4 신경망 모델의 시간적 추론 성능는 인간 성능에 비해 어떻게 비교되며, 주요 실패 원인은 무엇인가?
• RQ5 커스텀 조사 파이프라인이 대규모로 고품질, 다양성 있고 대비되는 시간적 추론 질문을 신뢰성 있게 생성할 수 있는가?

주요 결과

• RoBERTa-large는 Torque 테스트 세트에서 정확도 51%의 정확도를 기록하여 인간 성능과 비교해 심각한 성능 격차를 보였다.
• 테스트 세트에서 인간의 정확도는 약 81%의 정확도를 기록했으며, 이는 작업이 여전히 해결되지 않은 도전 과제임을 시사한다.
• SQuAD에서 훈련된 모델들은 시간적 추론에 일반화하지 못하며, '전에 무슨 일이 있었는가?'와 '후에 무슨 일이 있었는가?'와 같은 대비 질문에 대해 정확히 답하지 못함을 보였다.
• Torque에서의 미세조정을 거쳐도 성능 격차가 지속되므로, 현재 아키텍처가 시간적 추론을 위한 충분한 인덕티브 바이어스를 갖추지 못하고 있음을 시사한다.
• 다수의 사건이 존재하거나 시간적 신호가 복잡한 문장 구조에 내장된 경우, 모델들이 올바른 시간적 사건 순서를 식별하지 못하는 경향이 있음을 데이터셋이 드러냈다.
• 대비 질문 설계가 효과적으로 모델의 취약성을 드러내었으며, 질문 어조의 미세한 변화(예: '전'에서 '후'로 변경)가 모델 출력에 크게 영향을 미쳐 정답이 크게 달라지는 경우가 많았다.