[논문 리뷰] A Survey on Deep Learning Event Extraction: Approaches and Applications

Qian Li, Jianxin Li외 9명|arXiv (Cornell University)|2021. 07. 05.

Advanced Text Analysis Techniques인용 수 12

한 줄 요약

이 종합 검토는 일반 도메인에서 딥러닝 기반 이벤트 추출에 대해 종합적인 개요를 제공하며, 접근 방식을 파이프라인 및 공동(paradigm) 파라다임으로 분류하고, 모델 아키텍처, 벤치마크 및 평가 지표를 분석한다. 이는 종속성 학습, 엔드 투 엔드 모델링, 다중 이벤트 추출, 도메인 적응 및 해석 가능성과 같은 주요 과제를 강조하며, 이벤트 추출 분야의 향후 연구를 위한 체계적인 로드맵을 제시한다.

ABSTRACT

Event extraction (EE) is a crucial research task for promptly apprehending event information from massive textual data. With the rapid development of deep learning, EE based on deep learning technology has become a research hotspot. Numerous methods, datasets, and evaluation metrics have been proposed in the literature, raising the need for a comprehensive and updated survey. This article fills the research gap by reviewing the state-of-the-art approaches, especially focusing on the general domain EE based on deep learning models. We introduce a new literature classification of current general domain EE research according to the task definition. Afterward, we summarize the paradigm and models of EE approaches, and then discuss each of them in detail. As an important aspect, we summarize the benchmarks that support tests of predictions and evaluation metrics. A comprehensive comparison among different approaches is also provided in this survey. Finally, we conclude by summarizing future research directions facing the research area.

연구 동기 및 목표

• 일般 도메인에서 딥러닝 기반 이벤트 추출 방법에 대한 체계적이고 최신의 종합 검토를 제공하는 것.
• 작업 정의를 바탕으로 기존 접근 방식을 파이프라인 및 공동 파라다임으로 분류하고 분석하는 것.
• ACE 2005와 같이 표준 데이터셋에서 주요 모델의 정량적 성능을 포함하여 벤치마크 데이터셋, 평가 지표를 요약하는 것.
• 모델 일반화, 종속성 학습, 엔드 투 엔드 학습, 문서 수준의 추출 및 해석 가능성과 같은 핵심 과제를 식별하고 논의하는 것.
• 실제 응용 분야에서 이벤트 추출을 발전시키기 위한 향후 연구 방향을 제시하는 것.

제안 방법

• 작업 분해 및 모델 통합을 바탕으로 이벤트 추출 방법을 파이프라인 및 공동 파라다임으로 분류하는 것.
• 트리거 식별, 트리거 분류, 인자 식별 및 역할 분류를 위한 BERT 기반 아키텍처를 포함한 딥러닝 모델을 분석하는 것.
• 외부 지식 및 사전 학습된 표현을 통합하여 모델 일반화 및 성능을 향상시키는 것.
• ACE 2005와 같이 표준 벤치마크를 사용하여 F1, 정밀도 및 재현율과 같은 지표로 모델을 평가하는 것.
• 인자 역할 분류를 위해 시퀀스 태깅, 시퀀스에서 구조 생성, 기계 독해 이해(MRC) 프레임워크를 활용하는 것.
• 작업 정의 및 모델 파라다임을 기반으로 일반 도메인 이벤트 추출을 위한 통합 분류 프레임워크를 제안하는 것.

실험 결과

연구 질문

• RQ1 파이프라인 및 공동 딥러닝 파라다임은 이벤트 추출에서 성능과 오류 전파 측면에서 어떻게 다릅니까?
• RQ2 이벤트 트리거 및 인자 역할 분류에 있어 가장 효과적인 딥러닝 아키텍처와 사전 학습된 모델은 무엇입니까?
• RQ3 외부 지식 소스와 데이터 증강은 자원이 제한된 환경에서 이벤트 추출을 어떻게 향상시킵니까?
• RQ4 문서 수준 및 다중 이벤트 시나리오로의 이벤트 추출 확장에서의 주요 과제는 무엇입니까?
• RQ5 의료 및 법적 분야와 같은 중요한 응용 분야에서 모델의 해석 가능성을 어떻게 향상시킬 수 있습니까?

주요 결과

• 강력한 문맥 표현 학습 능력 덕분에 BERT 기반 모델은 딥러닝 기반 이벤트 추출의 주류가 되었다.
• 트리거 분류 및 인자 역할 레이블링과 같은 하위 작업 간의 오류 전파를 줄이기 때문에 공동 모델링 접근 방식이 파이프라인 방법보다 성능이 뛰어나다.
• ACE 2005 데이터셋은 여전히 표준 벤치마크로 남아 있으며, 최신 기술 모델은 일부 이벤트 유형에서 F1 점수 80% 이상를 기록하고 있다.
• 다중 이벤트 및 문서 수준의 이벤트 추출은 중요한 연구 분야로 부상하고 있지만 문장 수준의 추출에 비해 아직 탐색이 부족한 상태이다.
• 해석 가능성은 여전히 주요 한계로 남아 있으며, 특히 고위험 도메인에서 인자 역할 예측에 대한 투명한 추론을 제공하는 모델은 거의 없다.
• 의료 분야와 같은 전문 분야에서의 도메인 적응은 전문 용어와 표본 데이터 부족으로 인해 어렵고, 더 나은 지식 통합이 필요하다.