[논문 리뷰] An Improved Neural Baseline for Temporal Relation Extraction

Ning Qiang, Sanjay Subramanian외 1명|arXiv (Cornell University)|2019. 09. 01.

Topic Modeling참고 문헌 45인용 수 4

한 줄 요약

이 논문은 문맥 기반 임베딩, 시간적 공통 지식을 위한 시아모이드 인코더, 그리고 전역 추론을 위한 정수선형계획법을 사용하여 시간 관계 추출을 위한 강력한 신경 기반 베이스라인을 제안한다. 두 가지 벤치마크 데이터셋에서 이전 최고 성능 기준보다 F1 점수 10%p 향상(오차 25% 감소)을 달성하여, 모델 성능이 아키텍처보다 데이터 품질에 더 큰 영향을 받는다는 것을 입증한다.

ABSTRACT

Determining temporal relations (e.g., before or after) between events has been a challenging natural language understanding task, partly due to the difficulty to generate large amounts of high-quality training data. Consequently, neural approaches have not been widely used on it, or showed only moderate improvements. This paper proposes a new neural system that achieves about 10% absolute improvement in accuracy over the previous best system (25% error reduction) on two benchmark datasets. The proposed system is trained on the state-of-the-art MATRES dataset and applies contextualized word embeddings, a Siamese encoder of a temporal common sense knowledge base, and global inference via integer linear programming (ILP). We suggest that the new approach could serve as a strong baseline for future research in this area.

연구 동기 및 목표

• 저품질의 훈련 데이터로 인해 신경망 모델의 시간 관계 추출 성능이 제한되는 문제를 해결하기 위해.
• 이 작업에서 신경망 아키텍처와 데이터 품질 중 어느 것이 주요 성능 저하 요인인지 평가하기 위해.
• 향후 시간 관계 추출 분야의 연구를 위한 강력하고 공개 가능한 신경 기반 베이스라인을 수립하기 위해.
• 다양한 단어 임베딩 기법과 지식 주입 방식이 모델 성능에 미치는 영향을 조사하기 위해.

제안 방법

• 이벤트를 포함한 문장 쌍을 표현하기 위해 문맥 기반 단어 임베딩(ELMo, BERT)을 사용하는 Bi-LSTM 인코더를 사용한다.
• TemProb에서 유래한 시간적 공통 지식을 인코딩하기 위해 시아모이드 신경망을 활용하여 사전 지식을 주입한다.
• 예측된 시간 관계 간의 전이성 제약 조건을 강제하기 위해 전역 추론을 위해 정수선형계획법(ILP)을 적용한다.
• 이벤트 표현과 위치 인식 인코딩 및 연결 전략을 조합하여 상대적 이벤트 순서의 모델링을 향상시킨다.
• 이전 데이터셋보다 높은 표준화 품질과 이면자 간 일致도를 보이는 MATRES 데이터셋에서 엔드 투 엔드로 훈련한다.
• 정확도, 정밀도/재현율/F1, 인식 점수를 포함한 세 가지 지표 평가 프레임워크를 사용하여 성능을 종합적으로 평가한다.

실험 결과

연구 질문

• RQ1 신경망 모델과 특징 기반 모델 간의 성능 격차가 모델 아키텍처의 문제인지, 데이터 품질의 문제인지 여부는 무엇인가?
• RQ2 다양한 문맥 기반 단어 임베딩(BERT, ELMo 등)이 시간 관계 추출에서 성능에 어떻게 영향을 미치는가?
• RQ3 외부 시간적 공통 지식을 주입함으로써 신경망 모델 성능을 얼마나 향상시킬 수 있는가?
• RQ4 정수선형계획법을 통한 전역 추론이 시간 관계 예측의 일관성과 정확도를 향상시키는가?
• RQ5 제안된 시스템은 향후 시간 관계 추출 연구를 위한 강력하고 일반화 가능한 기반 모델이 될 수 있는가?

주요 결과

• 제안된 시스템은 MATRES 데이터셋에서 이전 최고 성능 기준인 CogCompTime 시스템 대비 F1 점수 10%p 향상 및 오차 25% 감소를 달성한다.
• 문맥 기반 임베딩(ELMo 및 BERT)이 정적 임베딩(word2vec, GloVe, FastText)보다 유의하게 뛰어나며, McNemar 검정에서 p < 0.001의 유의미한 차이를 보인다.
• ELMo 또는 BERT를 사용하는지에 관계없이, 공통 지식 인코더(CSE)를 추가함으로써 기본 연결 전략 대비 성능 향상이 유의미하게(p < 0.001) 이루어진다.
• BERT를 사용하고 전체 파이프라인을 적용했을 때, MATRES에서 F1 점수 78.4, TCR에서 74.9를 기록하며 CogCompTime를 크게 능가한다.
• 고품질 데이터(MATRES)를 사용할 경우 신경망 모델이 이전 특징 기반 시스템을 능가할 수 있음을 확인하여, 데이터 품질이 핵심 성능 저하 요인임을 입증한다.
• BERT의 다른 NLP 작업에서의 우세함과는 달리, ELMo와 BERT 간 성능 차이가 유의미하지 않게 나타났다.