[논문 리뷰] Temporal Relation Extraction with a Graph-Based Deep Biaffine Attention Model

Bo-Ying Su, Shang-Ling Hsu외 2명|arXiv (Cornell University)|2022. 01. 16.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 종단간(end-to-end) 방식으로 이벤트 간선과 시간관계 레이블을 동시에 예측하는 그래프 기반 딥 바이어피너(бияффин) 어텐션 모델을 제안한다. 이로 인해 사전 이벤트 주석(annotation)이 필요 없어진다. 별도의 바이어피너 모듈을 통해 간선과 관계 예측을 분리함으로써, 벤치마크 데이터셋에서 최고 성능(F1 점수)을 달성하면서도 관계 예측의 순차적 반복을 피하고 완전히 병렬화 가능한 계산을 통해 추론 속도를 39% 향상시켰다.

ABSTRACT

Temporal information extraction plays a critical role in natural language understanding. Previous systems have incorporated advanced neural language models and have successfully enhanced the accuracy of temporal information extraction tasks. However, these systems have two major shortcomings. First, they fail to make use of the two-sided nature of temporal relations in prediction. Second, they involve non-parallelizable pipelines in inference process that bring little performance gain. To this end, we propose a novel temporal information extraction model based on deep biaffine attention to extract temporal relationships between events in unstructured text efficiently and accurately. Our model is performant because we perform relation extraction tasks directly instead of considering event annotation as a prerequisite of relation extraction. Moreover, our architecture uses Multilayer Perceptrons (MLP) with biaffine attention to predict arcs and relation labels separately, improving relation detecting accuracy by exploiting the two-sided nature of temporal relationships. We experimentally demonstrate that our model achieves state-of-the-art performance in temporal relation extraction.

연구 동기 및 목표

• 기존의 이중 단계(temporal relation extraction) 파ip라인의 비효율성과 정확도 한계를 해결하기 위해.
• 시간관계의 이중성(두 방향성)을 보다 효과적으로 모델링하여 성능을 향상시키기 위해.
• 추론 과정에서 사전 이벤트 주석에 의존하지 않도록 하여 진정한 종단간 관계 추출을 가능하게 하기 위해.
• 관계 예측에서 중첩된 루프를 피하는 병렬화 가능한 아키텍처를 통해 추론 속도를 가속화하기 위해.
• 간선 예측과 관계 분류를 분리함으로써 모호한 관계 및 비관계(NONE/VAGUE)를 더 잘 탐지할 수 있도록 하기 위해.

제안 방법

• 맥락적 토큰 임베딩을 위해 미세조정된 BERT 모델을 사용한다.
• 입력 시퀀스의 맥락적 표현을 인코딩하기 위해 이방향 LSTM을 활용한다.
• 두 가지 별도의 바이어피너 어텐션 모듈을 배치한다: 하나는 간선(관계 존재 여부) 예측을 위해, 다른 하나는 관계 레이블 예측을 위해.
• 최고 점수를 받은 간선과 관계 예측을 통합하여 최종 시간관계 그래프를 구성하는 경량 디코더를 통합한다.
• 간선 및 관계 예측 헤드 양쪽에 대해 공동 교차 엔트로피 손실을 사용하여 다중 작업 학습을 최적화한다.
• 간선과 관계 예측을 분리함으로써 추론을 완전히 병렬화하고, 이전 시스템에서 사용하던 순차적 이벤트 쌍 순회가 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 추론 과정에서 골드(Gold) 이벤트 스팬을 요구하지 않는 통합형 종단간 모델이 이중 단계 파이프라인을 능가할 수 있는가?
• RQ2 간선 예측(관계 존재 여부)과 관계 레이블 분류를 분리하면, 특히 NONE 및 VAGUE 관계의 경우 성능 향상에 기여하는가?
• RQ3 바이어피너 어텐션 메커니즘이 시간관계의 이중성 특성을 활용하여 관계 탐지 정확도를 향상시킬 수 있는가?
• RQ4 병렬화 가능한 아키텍처가 F1 점수를 유지하면서 추론 시간을 얼마나 줄일 수 있는가?
• RQ5 정확도와 계산 효율성 측면에서 제안된 모델은 최고 수준의 기준 모델(SOTA)과 어떻게 비교되는가?

주요 결과

• 모델은 TB-Dense 데이터셋에서 최고 성능인 F1 점수 50.9를 기록하며 이전의 SOTA 기준 모델을 초월했다.
• TB-Dense에서 추론 속도는 1초당 452개 문장에 달해 이전 방법 대비 39% 향상되었다.
• 제거 실험(Ablation study) 결과, 전용 ARC 모듈을 제거하면 F1 점수가 최대 1.5점 감소하였으며, 특히 VAGUE 관계 탐지에 심각한 영향을 주었다.
• 바이어피너 어텐션 메커니즘은 표준 선형 레이어 대비 약간의 성능 향상을 보였고, 평균적으로 더 빠른 실행 속도를 기록했다.
• ARC 모듈를 비활성화한 경우에도 높은 정확도를 유지할 수 있었지만, VAGUE 관계 탐지에서는 성능이 크게 떨어졌으며, 이는 전용 간선 예측의 가치를 입증한다.
• 제안된 아키텍처는 완전히 병렬화된 디코딩을 가능하게 하여 이전 시스템에서 사용하던 비병렬적 중첩 루프를 제거했다.