[논문 리뷰] Domain Knowledge Empowered Structured Neural Net for End-to-End Event Temporal Relation Extraction

Rujun Han, Yichao Zhou외 1명|arXiv (Cornell University)|2020. 09. 15.

Topic Modeling참고 문헌 37인용 수 5

한 줄 요약

이 논문은 분포 제약을 통해 확률적 도메인 지식을 통합함으로써 엔드 투 엔드 이벤트 시계열 관계 추출을 향상시키는 구조적 신경망 프레임워크를 제안한다. 라그랑주 승수를 활용한 최적화를 통해 추론을 수행한다. 이 방법은 뉴스 및 임상 데이터셋에서 강력한 베이스라인 대비 VAGUE와 같은 우세한 관계에 대한 편향을 줄이며 F1 점수를 크게 향상시킨다.

ABSTRACT

Extracting event temporal relations is a critical task for information extraction and plays an important role in natural language understanding. Prior systems leverage deep learning and pre-trained language models to improve the performance of the task. However, these systems often suffer from two short-comings: 1) when performing maximum a posteriori (MAP) inference based on neural models, previous systems only used structured knowledge that are assumed to be absolutely correct, i.e., hard constraints; 2) biased predictions on dominant temporal relations when training with a limited amount of data. To address these issues, we propose a framework that enhances deep neural network with distributional constraints constructed by probabilistic domain knowledge. We solve the constrained inference problem via Lagrangian Relaxation and apply it on end-to-end event temporal relation extraction tasks. Experimental results show our framework is able to improve the baseline neural network models with strong statistical significance on two widely used datasets in news and clinical domains.

연구 동기 및 목표

• 기존 신경망 모델의 이벤트 시계열 관계 추출 한계를 해결한다. 특히 클래스 불균형과 제한된 훈련 데이터로 인해 VAGUE와 같은 우세한 관계에 대한 예측 편향이 발생한다.
• 이전 시스템에서의 딱딱한 제약 조건의 제한을 극복하기 위해, 코퍼스 통계에서 유도된 확률적이고 분포 기반의 도메인 지식을 통합한다.
• 이벤트 유형별 관계 통계를 맵핑 추론 과정에 통합함으로써 모델의 일반화 능력과 추론 정확도를 향상시킨다.
• 딥 컨텍스트 표현과 도메인 기반 제약 조건을 동시에 최적화하는 구조적 신경망을 통해 엔드 투 엔드 학습을 가능하게 한다.
• 라그랑주 승수를 활용한 최적화가 확률적 지식 기반 제약 추론 문제를 해결하는 데 있어 시계열 추론 작업에 효과적인지 입증한다.

제안 방법

• 코퍼스 통계에서 유도된 분포 제약 조건을 구성한다. 특히 이벤트 유형(예: 발생 대비 보고)에 조건부된 시계열 관계의 기대 확률 분포를 모델링한다.
• 이러한 확률적 제약 조건을 구조적 신경망의 최대 사후확률(MAP) 추론 단계에 통합한다. 훈련 단계가 아니라 추론 단계에서 통합한다.
• 도메인 지식에서 유도된 부등식 제약 조건을 갖는 최적화 문제로 제약 추론 문제를 재구성하고, 라그랑주 승수를 활용해 미분 가능한 최적화를 가능하게 한다.
• 입력 텍스트의 컨텍스트 인코딩을 위해 사전 학습된 언어 모델(예: BERT)을 활용하고, 이어서 쌍별 시계열 관계 점수를 출력하는 관계 분류기를 적용한다.
• 신경망의 출력 점수와 도메인 지식 제약 조건 이행도를 동시에 최적화하기 위해 라그랑주 승수를 활용하여 소프트하고 확률적인 제약 조건 이행을 가능하게 한다.
• 개발 세트 튜닝을 통해 제약 조건 구성에 사용할 삼중조 수를 선택하여 신뢰성과 일반화 능력 간 균형을 맞추며, 테스트 데이터에 대한 과적합을 방지한다.

실험 결과

연구 질문

• RQ1 이벤트 유형별 관계 통계에서 유도된 확률적 도메인 지식은 신경망 모델의 이벤트 시계열 관계 추출 성능 향상에 기여하는가?
• RQ2 라그랑주 승수를 활용한 분포 제약 조건 통합은 일반화 능력 향상과 VAGUE와 같은 우세한 관계에 대한 편향 감소에 기여하는가?
• RQ3 단지 딱딱한 제약 조건 또는 제약 없이 학습된 강력한 베이스라인과 비교해 본다면, 제안된 프레임워크는 어떤 성능을 보이는가?
• RQ4 삼중조 빈도 기반 제약 조건 구성의 신뢰성이 미리 보지 않은 테스트 데이터에 대한 모델 일반화에 얼마나 영향을 미치는가?
• RQ5 다른 데이터 희소성과 관계 분포를 가지는 뉴스 및 임상 도메인 데이터셋에 이 프레임워크를 효과적으로 적용할 수 있는가?

주요 결과

• 제안된 프레임워크는 뉴스 데이터셋인 TimeBank-Dense와 임상 데이터셋인 I2b2-Temporal 양쪽 모두에서 강력한 베이스라인 모델 대비 유의미한 통계적 유의성으로 F1 점수를 크게 향상시켰다.
• 특히 발생과 보고 유형을 가진 이벤트 쌍에서 VAGUE 관계의 과도한 예측 비율을 10% 감소시켰고, 정확한 INCLUDES 예측 비율을 7.2% 향상시켰다.
• 낮은 빈도의 삼중조에서 제약 조건을 구성할 경우 테스트 세트 성능이 저하됨을 확인하여, 제약 조건 신뢰도가 충분한 데이터 수에 의존함을 입증했다.
• 개발 세트에서 제약 조건 임계치를 최적화하면 과적합이 발생함을 확인했으며, 특정 지점 이후로 테스트 F1 점수가 하락함을 관찰했다.
• 단지 딱딱한 제약 조건이나 도메인 지식 없이 학습된 이전 시스템보다 프레임워크가 뛰어난 성능을 보이며, 양 대안 데이터셋에서 새로운 SOTA 성능을 확립했다.
• 부족하게 표현되거나 복잡한 관계 유형에서 성능 향상이 가장 두드러졌으며, 이는 모델의 편향을 수정할 수 있음을 보여준다.