[논문 리뷰] A Sequential Model for Classifying Temporal Relations between Intra-Sentence Events

Prafulla Kumar Choubey, Ruihong Huang|ArXiv.org|2017. 07. 23.

Topic Modeling참고 문헌 19인용 수 9

한 줄 요약

이 논문은 문장 내 이벤트 간 미세한 시간 관계를 분류하기 위해 문장 내 이벤트 간 의존 관계 경로를 활용하는 이중 LSTM 기반 순차 모델을 제안한다. 문맥적 어구의 구성적 문법적 및 의미적 구조를 모델링함으로써, 이 접근 방식은 TimeBank 코퍼스에서 53.32%의 정확도를 달성하여 이전의 기능 기반 모델보다 11.35个百分点 높게 성능을 내었다.

ABSTRACT

We present a sequential model for temporal relation classification between intra-sentence events. The key observation is that the overall syntactic structure and compositional meanings of the multi-word context between events are important for distinguishing among fine-grained temporal relations. Specifically, our approach first extracts a sequence of context words that indicates the temporal relation between two events, which well align with the dependency path between two event mentions. The context word sequence, together with a parts-of-speech tag sequence and a dependency relation sequence that are generated corresponding to the word sequence, are then provided as input to bidirectional recurrent neural network (LSTM) models. The neural nets learn compositional syntactic and semantic representations of contexts surrounding the two events and predict the temporal relation between them. Evaluation of the proposed approach on TimeBank corpus shows that sequential modeling is capable of accurately recognizing temporal relations between events, which outperforms a neural net model using various discrete features as input that imitates previous feature based models.

연구 동기 및 목표

• 문장 내 이벤트 간 미세한 시간 관계 분류의 정확도를 향상시키기 위해.
• 장기간 또는 복잡한 간섭 맥락에서 구성적 문법적 및 의미적 증거를 포착하지 못하는 기능 기반 모델의 한계를 해결하기 위해.
• 이벤트 언급 간 전체 의존 경로를 시퀀스로 모델링하여 구조적 및 의미적 구성성을 유지하기 위해.
• 단일 기능 엔지니어링을 넘어서서 단어, 품사 태그, 의존 관계 시퀀스의 순차적 모델링이 시간 관계 분류에 어떻게 기여하는지 평가하기 위해.
• 기존 기능 기반 접근 방식에 비해 종단 간 순차적 모델링이 시간 관계 분류에서 우월함을 입증하기 위해.

제안 방법

• 의존 parsing을 사용하여 문장 내 두 이벤트 언급 간 의존 경로를 추출한다.
• 구두점 및 복잡한 문법적 구조를 처리하기 위해 히우리스틱 규칙을 적용하여 의존 경로를 풍부화시킨다.
• 각 경로에 대해 세 개의 병렬 시퀀스를 생성한다: 단어 토큰, 품사 태그, 의존 관계.
• 각 시퀀스를 별도의 이중 LSTM 네트워크에 입력하여 문맥적 표현을 학습한다.
• 모든 세 개의 LSTM 브랜치에서 마지막 은닉 상태를 연결하고, 소프트맥스 활성화 함수를 사용하는 완전 연결 층을 거쳐 분류한다.
• RMSProp 옵티마이저와 드롭아웃 정규화를 사용하여 카테고리형 교차 엔트로피 손실로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 지역적 이산 기능 대비 전체 의존 경로를 시퀀스로 모델링하는 것이 시간 관계 분류 성능을 향상시키는가?
• RQ2 단어, 품사 태그, 의존 관계 시퀀스가 개별적으로나 함께 작용할 때, 미세한 시간 관계 예측에 얼마나 기여하는가?
• RQ3 순차적 모델링이 기능 기반 모델이 놓치는 구성적 문법적 및 의미적 증거를 포착하는가, 특히 장기간 또는 복잡한 맥락에서?
• RQ4 제안된 모델은 'begun_by' 또는 'ibefore'와 같은 드문 또는 감지하기 어려운 시간 관계에서 어떻게 성능을 내는가?
• RQ5 손으로 작성된 기능이나 직접적인 의존 경로에 의존하는 강력한 베이스라인에 비해 모델이 더 잘 일반화되는가?

주요 결과

• 제안된 전체 모델은 TimeBank 코퍼스에서 53.32%의 정확도를 기록하여 강력한 기능 기반 베이스라인(Baseline I)보다 11.35个百分点 높은 성능을 보였다.
• Baseline II와 III보다 각각 9.42%와 8.57% 높은 성능을 기록하여 순차적 모델링이 비구조적 기반 모델에 비해 가치가 있음을 확인했다.
• 단순히 가장 짧은 경로만 사용하는 직접적 의존 경로 모델은 49.25%의 정확도를 기록하여 규칙 풍부화된 경로가 더 높은 성능을 낸다는 것을 보여주었다.
• 베이스라인 시스템이 완전히 감지하지 못한 드문 관계인 'begun_by', 'ibefore', 'ends'에 대해서도 모델이 뛰어난 성능을 보였다.
• 의존 관계 시퀀스와 품사 태그 및 단어 시퀀스의 조합이 가장 높은 성능(이중 시퀀스 모델에서 47.75%)을 기록하여, 의존 구조가 특히 정보가 많다는 것을 시사했다.
• 전체 모델은 매크로 F1 스코어 0.40을 기록하여, 베이스라인의 0.22보다 유의미하게 높았으며, 'includes'와 'during_in'과 같은 미반영된 관계에 대해서도 특히 뛰어난 성능을 보였다.