[논문 리뷰] Temporal Reasoning on Implicit Events from Distant Supervision

Ben Zhou, Kyle Richardson외 4명|arXiv (Cornell University)|2020. 10. 24.

Topic Modeling참고 문헌 47인용 수 4

한 줄 요약

이 논문은 암시적 사건(명시적으로 기재되지 않은 사건이지만 일반지식 추론을 통해 유추 가능한 사건)에 대한 시간적 추론을 평가하기 위한 새로운 데이터셋 Tracie를 소개한다. 저자들은 시작 시간과 지속 시간에 대한 기호적 추론과 대규모 텍스트로부터의 원거리 감독을 결합한 신경기호 모델인 SymTime을 제안하며, Tracie에서 78.9%의 정확도를 달성하여 강력한 베이스라인 대비 5% 향상되고, 제로샷 설정에서는 11% 향상되었다.

ABSTRACT

We propose TRACIE, a novel temporal reasoning dataset that evaluates the degree to which systems understand implicit events -- events that are not mentioned explicitly in natural language text but can be inferred from it. This introduces a new challenge in temporal reasoning research, where prior work has focused on explicitly mentioned events. Human readers can infer implicit events via commonsense reasoning, resulting in a more comprehensive understanding of the situation and, consequently, better reasoning about time. We find, however, that state-of-the-art models struggle when predicting temporal relationships between implicit and explicit events. To address this, we propose a neuro-symbolic temporal reasoning model, SYMTIME, which exploits distant supervision signals from large-scale text and uses temporal rules to combine start times and durations to infer end times. SYMTIME outperforms strong baseline systems on TRACIE by 5%, and by 11% in a zero prior knowledge training setting. Our approach also generalizes to other temporal reasoning tasks, as evidenced by a gain of 1%-9% on MATRES, an explicit event benchmark.

연구 동기 및 목표

• 암시적 사건(명시적으로 언급되지 않지만 맥락으로부터 유추 가능한 사건)에 초점을 맞춰 시간적 추론 연구의 격차를 메우기.
• 암시적 사건의 시작 및 종료 시간에 대한 추론 능력을 평가하기 위해 벤치마크 데이터셋인 Tracie를 개발하기.
• 대규모 텍스트로부터의 원거리 감독을 활용해 시간 패턴에 대한 사전학습을 통해 자원이 제한된 환경에서도 일반화 능력을 향상시키기.
• 학습된 시작 시간 거리 예측과 사건 지속 시간 추정을 기반으로 기호 논리로 종료 시간 관계를 추론하는 신경기호 모델을 설계하기.
• 암시적 사건 및 명시적 사건의 시간적 추론 벤치마크에서 본 방법의 강건성과 이식 가능성을 입증하기.

제안 방법

• 암시적 사건과 명시적 사건 간의 시간 관계에 중점을 두고, 다중 전제 텍스트 추론 형식으로 구성된 5,400개의 인간 검수된 인스턴스를 포함하는 Tracie 데이터셋을 구축하기.
• 문장 수준가 아니라 문단 수준 창문을 활용해 대규모 텍스트에서 시간 패턴(특히 시작 시간 거리와 지속 시간)을 추출함으로써 원거리 감독을 적용하기.
• 이러한 원거리 신호를 사용해 시간적 추론에 특화된 패턴 기반 모델인 PtnTime을 훈련하여, 특히 시작 시간 예측에 있어 사전학습 성능을 향상시키기.
• 종료 시간 추론을 두 가지 구성요소로 분해하는 SymTime이라는 신경기호 모델을 개발: 상대적 시작 시간 거리 예측 및 사건 지속 시간 추정.
• Allen 간격 대칭법칙 기반의 기호 계산을 통해 예측을 조합: 종료 시간 = 시작 시간 + 지속 시간, 이로써 시간 순서의 논리적 추론 가능하게 하기.
• 임무에 특화된 미세조정을 통해 SymTime을 엔드 투 엔드로 훈련하지만, 제로샷 및 자원이 제한된 설정에서도 평가하여 일반화 능력 평가하기.

실험 결과

연구 질문

• RQ1 기존의 사전학습된 언어 모델은 암시적 사건의 시작 및 종료 시간을 효과적으로 추론할 수 있는가?
• RQ2 대규모 텍스트로부터의 원거리 감독은 특히 자원이 제한된 설정에서 암시적 사건의 시간적 추론을 어느 정도 향상시킬 수 있는가?
• RQ3 시작 시간 거리와 지속 시간에 대한 기호적 추론은 종료 시간 추론을 엔드 투 엔드 신경망 모델을 초월해 향상시킬 수 있는가?
• RQ4 기호적 시간 규칙의 통합은 다양한 데이터 분포 간에서 모델의 강건성과 일반화 능력을 어떻게 향상시키는가?
• RQ5 제안된 방법은 오직 명시적 사건만을 포함하는 다른 시간적 추론 벤치마크로도 일반화되는가?

주요 결과

• Tracie에서 미세조정된 T5-Large 모델은 이진 정확도가 67.9%에 불과하여 암시적 사건의 추론 능력에 상당한 한계가 있음을 시사한다.
• 문단 수준의 시간 패턴에 대해 원거리 감독을 통해 사전학습된 PtnTime 모델은 Tracie에서 정확도가 76.6%로 상승하여 표준 T5-Large 대비 9% 향상되었다.
• PtnTime와 지속 시간 모델을 결합하고 기호적 추론을 적용한 SymTime은 Tracie에서 78.9%의 정확도를 달성하여 강력한 베이스라인 대비 5% 향상되었다.
• 사전 지식이 없는 학습 설정에서 SymTime은 베이스라인 대비 11% 향상되어 원거리 감독으로부터의 강력한 일반화 능력을 입증했다.
• MATRES(명시적 사건을 위한 벤치마크)에서 SymTime은 1%에서 9%의 성능 향상을 기록하여 다른 시간적 추론 작업으로의 이식 가능성을 보였다.
• 입력 분포 이동에 대한 강건성도 높아, 스토리가 없는 설정에서 성능 저하가 4%에 그쳤고, T5-Large는 10% 저하를 보였다.