[논문 리뷰] ESTER: A Machine Reading Comprehension Dataset for Event Semantic Relation Reasoning

Rujun Han, I-Hung Hsu외 5명|arXiv (Cornell University)|2021. 04. 16.

Topic Modeling참고 문헌 24인용 수 6

한 줄 요약

ESTER는 원인, 하위 이벤트, 공호칭, 조건 및 반대가치와 같은 다섯 가지 핵심 이벤트 의미관계에 대해 자연어 질문을 통해 추론할 수 있도록 설계된 새로운 기계적 독해 데이터셋이다. 이 질문들은 완전하고 의미 있는 이벤트 스트링을 답으로 요구한다. 6,000개 이상의 질문과 10,100개의 이벤트 관계 쌍을 포함하는 이 데이터셋은 최첨단 모델(EM: 22.1%)과 인간 성능(36.0%) 사이에 뚜렷한 성능 격차를 드러내며, 이벤트 중심의 서사 이해를 위한 도전적인 기준으로서의 위치를 확립한다.

ABSTRACT

Understanding how events are semantically related to each other is the essence of reading comprehension. Recent event-centric reading comprehension datasets focus mostly on event arguments or temporal relations. While these tasks partially evaluate machines' ability of narrative understanding, human-like reading comprehension requires the capability to process event-based information beyond arguments and temporal reasoning. For example, to understand causality between events, we need to infer motivation or purpose; to establish event hierarchy, we need to understand the composition of events. To facilitate these tasks, we introduce ESTER, a comprehensive machine reading comprehension (MRC) dataset for Event Semantic Relation Reasoning. The dataset leverages natural language queries to reason about the five most common event semantic relations, provides more than 6K questions and captures 10.1K event relation pairs. Experimental results show that the current SOTA systems achieve 22.1%, 63.3%, and 83.5% for token-based exact-match, F1, and event-based HIT@1 scores, which are all significantly below human performances (36.0%, 79.6%, 100% respectively), highlighting our dataset as a challenging benchmark.

연구 동기 및 목표

• 시간적 관계와 역할 역할을 초월하는 다양한 이벤트 의미관계에 대해 종합적인 데이터셋이 부족한 문제를 해결하기 위해.
• 엄격한 삼중관계 기반 추출 방식이 아닌 자연어 질문을 통한 이벤트 관계 모델링을 통해 기계적 독해를 향상시키기 위해.
• 모델 예측의 강건성과 완전성을 평가하기 위해 답변으로 완전하고 일관된 이벤트 스트링을 요구함으로써.
• 현재 최첨단 모델이 서사 내에서 미묘한 의미관계를 포착하는 데에 한계를 보이고 있음을 부각시키기 위해.

제안 방법

• 데이터셋은 원인, 하위 이벤트, 공호칭, 조건, 반대가치와 같은 다섯 가지 유형의 이벤트 의미관계를 질문을 통해 쿼리하기 위해 자연어 질문을 사용한다.
• 각 질문은 서사적 문장에서 유래하며, 답변으로는 문장 내에서 완전하고 의미 있는 텍스트 스트링이 필요하여 의미적 일관성을 확보한다.
• 전문가 검증을 거친 이중 단계의 주석 처리 과정을 통해 고품질의 포괄적인 답변 세트를 확보하며, 복잡한 관계에는 다수의 유효한 답변이 포함된다.
• 모든 다섯 가지 관계 유형을 동시에 모델링할 수 있도록 생성형 질문-답변 기준으로 작업을 정의한다.
• 모델 평가에 여러 지표를 사용한다: 토큰 기반 정확도(EM), F1, 이벤트 기반 HIT@1을 통해 답변의 완전성과 정확도를 평가한다.
• 추출형과 생성형 QA 설정 간의 비교 실험을 통해 모델의 행동과 한계를 분석한다.

실험 결과

연구 질문

• RQ1 ESTER로 훈련된 모델들은 원인성, 하위 이벤트 조합과 같은 다양한 의미관계에 대해 정확하게 완전하고 의미 있는 이벤트 스트링을 식별하고 생성할 수 있는가?
• RQ2 추출형과 생성형 QA 접근 방식은 이벤트 의미관계에 대해 일관되고 완전한 답변을 생성하는 데서 어떤 차이를 보이는가?
• RQ3 현재 최첨단 모델은 서사 내에서 복잡한 이벤트 관계를 추론하는 데 있어 인간 수준의 성능을 얼마나 떨어뜨리는가?
• RQ4 답변의 완전성이 모델 성능에 어떤 영향을 미치며, 유효한 답변 수를 늘리면 일반화 능력이 향상되는가?
• RQ5 질문 내 텍스트 신호(예: '왜', '포함된 것은 무엇인가')는 모델의 추론과 답변 품질에 어떤 영향을 미치는가?

주요 결과

• 최첨단 모델은 ESTER에서 토큰 기반 정확도(EM) 22.1%, F1 63.3%, 이벤트 기반 HIT@1 83.5%를 기록했으며, 인간 성능(각각 36.0%, 79.6%, 100%)에 비해 뚜렷이 떨어진다.
• 추출형 QA 모델은 부분적 또는 겹치는 토큰을 식별함으로써 F1에서는 양호한 성능을 보이지만, EM과 HIT@1에서는 실패하여 완전하고 의미 있는 답변 생성 능력이 떨어진다.
• 생성형 QA 모델은 잘못된 답변일지라도 더 일관되고 완전한 답변 스트링을 생성하는 반면, 추출형 모델은 종종 연결되지 않거나 의미 없는 토큰을 예측한다.
• 검증을 통해 답변 수를 늘린 결과 모델 성능 향상이 없었으며, 이는 주석 품질과 모델 일반화 능력이 분리되어 있음을 시사한다.
• McNemar 검정을 통해 모델 간 성능 차이가 통계적으로 유의미함을 확인하여 평가 프로토콜의 강건성을 입증한다.
• 결과는 현재 모델가 이벤트 의미관계에 대해 강건한 추론 능력을 갖추지 못하고 있음을 보여주며, ESTER가未來 연구를 위한 도전적인 기준으로서의 역할을 다하고 있음을 입증한다.