[논문 리뷰] Contextualized Word Embeddings Enhanced Event Temporal Relation Extraction for Story Understanding

Rujun Han, Mengyue Liang외 2명|arXiv (Cornell University)|2019. 04. 26.

Topic Modeling참고 문헌 32인용 수 9

한 줄 요약

이 논문은 아직 탐색이 부족한 CaTeRS 및 RED 스토리 이해 데이터셋에서 이벤트 시간 관계 추출을 위한 최초의 신경망 기반 베이스라인을 제시하며, 문맥 기반 BERT 임베딩을 활용하여 전통적인 특징 기반 모델 대비 성능을 크게 향상시킨다. 결과적으로 BERT 강화 모델이 GloVe 기반 모델과 표준 언어적 특징 접근 방식보다 뛰어나며, 특히 장거리 의존성과 시간 관계의 문맥적 뉘앙스를 포착하는 데 유리하다.

ABSTRACT

Learning causal and temporal relationships between events is an important step towards deeper story and commonsense understanding. Though there are abundant datasets annotated with event relations for story comprehension, many have no empirical results associated with them. In this work, we establish strong baselines for event temporal relation extraction on two under-explored story narrative datasets: Richer Event Description (RED) and Causal and Temporal Relation Scheme (CaTeRS). To the best of our knowledge, these are the first results reported on these two datasets. We demonstrate that neural network-based models can outperform some strong traditional linguistic feature-based models. We also conduct comparative studies to show the contribution of adopting contextualized word embeddings (BERT) for event temporal relation extraction from stories. Detailed analyses are offered to better understand the results.

연구 동기 및 목표

• CaTeRS 및 RED와 같은 아직 탐색이 부족한 스토리 내러티브 데이터셋에서 이벤트 시간 관계 추출을 위한 강력한 신경망 베이스라인을 수립하기 위해.
• 문맥 기반 임베딩(예: BERT)을 사용하는 신경망 모델의 성능을 전통적인 특징 기반 모델(예: CAEVO)과 비교하기 위해.
• 문맥 기반 단어 표현이 내러티브 텍스트에서 장거리 의존성과 맥락 민감한 시간 관계 모델링을 향상시키는 데 기여하는 방식을 분석하기 위해.
• 스토리 이해 연구 분야에서 중요한 격차를 메우기 위해 CaTeRS 및 RED 데이터셋에 대한 이벤트 시간 관계 추출 결과를 처음으로 보고하기 위해.

제안 방법

• 같은 문장 또는 인접한 문장의 이벤트 쌍을 처리하는 BiLSTM 기반 신경망 분류기를 사용하며, 단어 및 품사(POS) 임베딩을 연결하여 입력으로 사용한다.
• 微조정 없이 문맥 기반 BERT 임베딩을 입력 표현으로 통합하며, 각 토큰의 이중 방향 문맥을 캡처하기 위해 마지막 레이어의 출력을 사용한다.
• 각 이벤트에 대한 전방 및 후방 BiLSTM 최종 은닉 상태를 언어적 특징(예: 토큰 간 거리)과 결합하여 분류를 위한 통합 표현을 형성한다.
• 결합된 표현을 하나의 은닉층을 가진 다층 퍼셉트론(MLP) 분류기로 전달하여, 가능한 모든 관계 유형에 대해 소프트맥스를 사용해 시간 관계를 예측한다.
• 동일한 평가 프rotocol를 사용하여 신경 모델과 최신 기술의 특징 기반 CAEVO 시스템을 비교한다.
• 제거 실험과 정성적 분석을 수행하여 BERT 임베딩과 정적 임베딩(GloVe 등)의 영향을 분리하고, 실패 사례를 분석한다.

실험 결과

연구 질문

• RQ1 스토리 데이터셋에서 문맥 기반 임베딩(BERT)을 사용하는 신경망 기반 모델은 전통적인 특징 기반 모델(예: CAEVO)과 비교해 이벤트 시간 관계 추출에서 어떻게 성능을 내는가?
• RQ2 의존성이 여러 문장에 걸쳐 확장되는 장거리 이벤트 쌍에서 BERT 임베딩은 성능 향상에 얼마나 기여하는가?
• RQ3 문맥 기반 표현은 의미적 맥락에 의존하는 미묘한 시간 관계(예: 겹침, 포함) 탐지에 어떻게 기여하는가?
• RQ4 정적 임베딩(GloVe 등)에서 발생하는 특정 실패 사례는 무엇이며, BERT 임베딩은 이를 어떻게 해결하는가?
• RQ5 심층 문맥 표현과 결합할 때 언어적 특징(예: 토큰 간 거리)은 신경 모델에서 어떤 기여를 하는가?

주요 결과

• BERT 임베딩을 강화한 신경망 모델은 CaTeRS 및 RED 데이터셋 양쪽에서 베이스라인 CAEVO 특징 기반 모델보다 유의미하게 높은 F1 스코어를 기록한다.
• BERT 기반 모델은 특히 장거리 떨어진 이벤트 쌍에서 GloVe 기반 모델보다 뛰어나며, 장거리 의존성 모델링 능력이 뛰어나다는 것을 입증한다.
• 정성적 분석 결과, BERT는 '독립 기념일 동안 깨어났다'와 같은 맥락적으로 복잡한 경우에서 OVERLAP 관계를 정확히 식별하는 데 성공했으며, GloVe는 맥락 부족으로 실패한다.
• 제거 실험 결과, 문맥 기반 표현이 성능 향상의 핵심 요소임을 확인했으며, 언어적 특징을 동일하게 유지하더라도 BERT가 정확도를 향상시킨다.
• GloVe의 실패 사례는 주로 이벤트 지속 기간이나 어간의 모호성 때문이며, BERT는 동적이고 맥락 민감한 표현을 통해 이를 해결한다.
• 본 연구는 CaTeRS 및 RED에 대한 이벤트 시간 관계 추출에서 처음으로 보고된 결과를 제공하며, 향후 스토리 이해 및 이벤트 관계 추출 연구를 위한 강력한 베이스라인을 설정한다.