[논문 리뷰] Deep Structured Neural Network for Event Temporal Relation Extraction

Rujun Han, I-Hung Hsu외 4명|arXiv (Cornell University)|2019. 09. 22.

Topic Modeling참고 문헌 34인용 수 6

한 줄 요약

이 논문은 양방향 LSTM와 구조적 SVM를 결합한 딥 구조적 신경망을 제안하여 장기적 맥락과 전역 일관성 제약 조건을 활용해 이벤트 간 시간 관계를 동시에 예측한다. 모델은 BERT 임bedding을 통합하고 구조적 예측을 통해 이행성 폐쇄를 강제하여 세 가지 벤치마크 데이터셋(TCR, MATRES, TB-Dense)에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

We propose a novel deep structured learning framework for event temporal relation extraction. The model consists of 1) a recurrent neural network (RNN) to learn scoring functions for pair-wise relations, and 2) a structured support vector machine (SSVM) to make joint predictions. The neural network automatically learns representations that account for long-term contexts to provide robust features for the structured model, while the SSVM incorporates domain knowledge such as transitive closure of temporal relations as constraints to make better globally consistent decisions. By jointly training the two components, our model combines the benefits of both data-driven learning and knowledge exploitation. Experimental results on three high-quality event temporal relation datasets (TCR, MATRES, and TB-Dense) demonstrate that incorporated with pre-trained contextualized embeddings, the proposed model achieves significantly better performances than the state-of-the-art methods on all three datasets. We also provide thorough ablation studies to investigate our model.

연구 동기 및 목표

• 이벤트 간 시간 관계 추출에서 국소 예측의 일관성 문제를 해결하기 위해 전역적인 구조적 의존성을 모델링하기 위해.
• 양방향 LSTM를 통해 장기적 맥락 의존성을 학습함으로써 특징 표현을 향상시키기 위해.
• 특히 시간 관계의 이행성 폐쇄와 같은 도메인 지식을 예측 프레임워크에 통합하여 전역적으로 일관된 결정을 내리기 위해.
• 컨텍스트 기반 임베딩(BERT)과 언어적 특징이 모델 성능 향상에 기여하는지 평가하기 위해.
• 다양한 시간 관계 데이터셋에 걸쳐 제안된 프레임워크의 강건성과 일반화 능력을 입증하기 위해.

제안 방법

• 모델은 이벤트 쌍에 대한 장거리 맥락 표현을 캡처하기 위해 이중 방향 LSTMs를 사용하여 장기적 맥락을 표현한다.
• 모든 이벤트 쌍에 대한 동시 예측을 수행하기 위해 구조적 서포트 벡터 머신(SSVM)을 활용하며, 시간 관계의 이행성 폐쇄와 같은 전역 일관성 제약 조건을 강제한다.
• 국소 점수 함수는 Bi-LSTM의 연결된 은닉 상태와 선택적 언어적 특징(예: 시제, 극성, 거리)을 입력으로 받는 신경망을 통해 학습된다.
• 전체 프레임워크는 엔드 투 엔드 동시 학습을 지원하여 전역적인 구조적 피드백이 신경망 구성 요소의 표현 학습을 이끄는 데 기여한다.
• 컨텍스트 기반 단어 임베딩(BERT)을 입력 특징으로 사용하여 고정 임베딩(GloVe 등)을 대체함으로써 의미 표현을 향상시킨다.
• 관계 뒤집기와 명시적 대칭성 제약 조건을 통한 데이터 증강을 통해 모델의 강건성과 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 신경망과 구조적 예측을 결합한 동시 학습 프레임워크가 이원적 분류를 넘어서 시간 관계 추출 성능을 향상시킬 수 있는가?
• RQ2 RNN에서 유도된 장기적 맥락 표현이 시간 관계 예측 정확도에 얼마나 기여하는가?
• RQ3 특히 이행성 폐쇄와 같은 도메인 지식이 신경 구조적 예측 프레임워크에 통합될 경우 얼마나 효과적인가?
• RQ4 고정 임베딩 대비 컨텍스트 기반 임베딩(BERT) 사용이 성능 향상에 상당한 기여를 하는가?
• RQ5 언어적 특징과 데이터 증강이 모델의 강건성과 일반화 능력에 미치는 영향은 어떠한가?

주요 결과

• 제안된 모델은 세 가지 벤치마크 데이터셋에서 최신 기술 수준의 F1 스코어를 달성하였다: TCR에서 80.9, MATRES에서 81.7, TB-Dense에서 63.2로 이전 SOTA 방법을 초월하였다.
• BERT 임베딩의 사용으로 인해 성능 향상이 뚜렷하게 나타났으며, GloVe 기반 모델 대비 MATRES에서 최대 11.2 F1 포인트 향상되었다.
• 양방향 평가(정방향 및 역방향)에서도 모델은 높은 성능(F1 > 80, MATRES 및 TCR 기준)을 유지하여 강건성을 입증하였으며, 이는 반대로 평가 시 성능이 저하되는 다른 모델들과 대비된다.
• 명시적 대칭성 제약 조건과 데이터 증강이 특히 관계가 뒤집힌 경우에 모델의 강건성을 크게 향상시켰다.
• 언어적 특징(시제, 극성, 거리)은 성능 향상에 기여하지 않으며 오히려 성능 저하를 초래할 수 있어, 모델이 학습한 표현이 이미 의미적으로 풍부하고 충분하다는 것을 시사한다.
• 제거 실험 결과, 구조적 구성 요소가 이행성 폐쇄를 강제하는 능력이 핵심임을 확인하였으며, 이 제약 조건이 없는 모델은 국소 예측이 정확하더라도 일관성 검증에 실패하는 것으로 나타났다.