[논문 리뷰] Doc2EDAG: An End-to-End Document-level Framework for Chinese Financial Event Extraction

Shun Zheng, Wei Cao외 2명|arXiv (Cornell University)|2019. 04. 16.

Topic Modeling참고 문헌 34인용 수 4

한 줄 요약

이 논문은 중국어 금융 공시 문서를 대상으로 한 엔티티 기반 방향 비순환 그래프(EDAG) 생성으로 이벤트 추출을 모델링하는 엔드 투 엔드 문서 수준 이벤트 추출 프레임워크인 Doc2EDAG를 제안한다. 문서 수준의 컨텍스트 인코딩과 메모리 보강 경로 확장 메커니즘을 활용하여, 특히 다중 이벤트 및 인자 산산조각 내기 시나리오에서 최신 기술보다 크게 뛰어나며, EO 이벤트 유형에서 최고의 베이스라인 대비 최대 28.4 F1 향상률을 기록한다.

ABSTRACT

Most existing event extraction (EE) methods merely extract event arguments within the sentence scope. However, such sentence-level EE methods struggle to handle soaring amounts of documents from emerging applications, such as finance, legislation, health, etc., where event arguments always scatter across different sentences, and even multiple such event mentions frequently co-exist in the same document. To address these challenges, we propose a novel end-to-end model, Doc2EDAG, which can generate an entity-based directed acyclic graph to fulfill the document-level EE (DEE) effectively. Moreover, we reformalize a DEE task with the no-trigger-words design to ease the document-level event labeling. To demonstrate the effectiveness of Doc2EDAG, we build a large-scale real-world dataset consisting of Chinese financial announcements with the challenges mentioned above. Extensive experiments with comprehensive analyses illustrate the superiority of Doc2EDAG over state-of-the-art methods. Data and codes can be found at https://github.com/dolphin-zs/Doc2EDAG.

연구 동기 및 목표

• 금융 문서에서 흔히 발생하는 인자 산산조각 내기 및 다중 이벤트 시나리오를 다루는 문장 수준의 이벤트 추출 기술의 한계를 해결하기 위해.
• 트리거 단어나 핵심 이벤트 문장 히ュ리스틱에 의존하지 않는 문서 수준의 엔드 투 엔드 이벤트 추출 모델을 제안하기 위해.
• 문서 수준의 이벤트 추출을 위해 애너테이션된 대규모 실세계 데이터셋을 구축하기 위해.
• 복잡한 이벤트 구조를 다루는 데 있어 문서 수준의 컨텍스트 인코딩과 메모리 보강 경로 확장 전략의 효과를 평가하기 위해.
• 원거리 감독 기반 레이블링에 적합한 트리거어 없음 형식화가 얼마나 우수한 성능을 내는지 입증하기 위해.

제안 방법

• Doc2EDAG는 문서 수준의 이벤트 추출을 엔티티 기반 방향 비순환 그래프(EDAG) 생성으로 모델링하여, 표 채우기 작업을 순차적 경로 확장 하위 작업으로 전환한다.
• 장거리 의존성을 문장 간에 포괄적으로 포착하기 위해, Transformer 기반 인코더를 사용하여 문서 수준의 엔티티 표현을 생성한다.
• EDAG 구축 중 경로 상태를 유지하고 업데이트하기 위해 메모리 메커니즘을 도입하여 부분적인 이벤트 구조 추적을 효과적으로 가능하게 한다.
• 학습 중에 예측된 엔티티를 점진적으로 입력에 통합함으로써 학습과 추론 간의 분포 이탈을 줄이기 위해 스케줄링 샘플링을 사용한다.
• 원시 문서에서 직접 이벤트 테이블을 예측할 수 있도록 엔드 투 엔드로 학습하여, 트리거어 레이블링이나 핵심 이벤트 문장 탐지가 필요 없도록 한다.
• 트리거어 없음 형식화를 도입하여 DEE를 직접적인 표 채우기로 간주함으로써 레이블링을 단순화하고 이벤트 추출의 최종 목표와의 일치도를 향상시킨다.

실험 결과

연구 질문

• RQ1 핵심 이벤트 문장 탐지와 히ュ리스틱 기반 인자 보완에 의존하는 이중 단계 접근 방식보다, 엔드 투 엔드 문서 수준의 이벤트 추출 모델이 성능이 뛰어나게 되는가?
• RQ2 메모리 보강 경로 확장 전략을 활용한 EDAG 생성 전략이 인자 산산조각 내기 및 다중 이벤트 시나리오를 다루는 데 얼마나 효과적인가?
• RQ3 트리거어 레이블링이 필요 없어지는 것이 원거리 감독 기반 DEE에서의 강인성과 성능 향상에 기여하는가?
• RQ4 문서 수준의 컨텍스트 인코딩이 이벤트 간 문장 간 인자 해결 및 다중 이벤트 처리 능력을 얼마나 향상시키는가?
• RQ5 스케줄링 샘플링 전략이 순차적 경로 확장 과정에서 학습과 추론 간 격리 문제를 얼마나 효과적으로 완화하는가?

주요 결과

• EF 이벤트 유형에서 Doc2EDAG는 최고의 베이스라인(DCFEE-O) 대비 19.1 F1 점수 향상률을 기록하여 인자 산산조각 내기 케이스에서 뛰어난 성능을 입증한다.
• 다중 이벤트 테스트 세트에서 Doc2EDAG는 DCFEE-O 대비 17.7 F1 포인트 향상하여 복잡하고 겹치는 이벤트 구조를 다루는 데의 효과성을 입증한다.
• 제거 실험 결과, 메모리 메커니즘을 제거하면 네 가지 이벤트 유형에서 10 F1 포인트 이상의 성능 저하가 발생하여, 경로 추적에 있어 그 핵심적인 역할을 입증한다.
• 스케줄링 샘플링은 평균 F1을 5 포인트 향상시켜 학습-추론 분포 이탈 감소에 기여하는 바를 확인한다.
• 문서 수준의 엔티티 인코딩은 평균 2.1 F1 포인트 기여하여 전역 컨텍스트가 엔티티 표현 품질을 향상시킨다는 것을 보여준다.
• 경로 확장에 대해 더 높은 음성 클래스 가중치를 사용함으로써 거짓 양성률가 감소하고 모든 이벤트 유형에서 안정적이고 측정 가능한 성능 향상이 이루어진다.