[논문 리뷰] Efficient Document-level Event Extraction via Pseudo-Trigger-aware Pruned Complete Graph

Tong Zhu, Xiaoye Qu외 5명|arXiv (Cornell University)|2021. 12. 11.

Topic Modeling인용 수 9

한 줄 요약

이 논문은 효율적인 관계 조합을 위해 흉내 트리거를 사용하여 잘라낸 완전 그래프를 구성하는 비자기적 문서 수준 이벤트 추출 모델인 PTPCG를 제안한다. 이 모델은 기존 최고 성능 모델 대비 파라미터 수의 19.8%와 훈련 시간의 3.8%를 사용하면서도, 최고 수준의 자기적 모델 대비 추론 속도를 최대 8.5배 빠르게 한다.

ABSTRACT

Most previous studies of document-level event extraction mainly focus on building argument chains in an autoregressive way, which achieves a certain success but is inefficient in both training and inference. In contrast to the previous studies, we propose a fast and lightweight model named as PTPCG. In our model, we design a novel strategy for event argument combination together with a non-autoregressive decoding algorithm via pruned complete graphs, which are constructed under the guidance of the automatically selected pseudo triggers. Compared to the previous systems, our system achieves competitive results with 19.8\\% of parameters and much lower resource consumption, taking only 3.8\\% GPU hours for training and up to 8.5 times faster for inference. Besides, our model shows superior compatibility for the datasets with (or without) triggers and the pseudo triggers can be the supplements for annotated triggers to make further improvements. Codes are available at https://github.com/Spico197/DocEE .

연구 동기 및 목표

• 문서 수준 이벤트 추출(DEE)에서 자기적 디코딩의 비효율성, 즉 높은 계산 자원 소비와 긴 훈련/추론 시간 문제를 해결하기 위해.
• 트리거 기반 및 트리거 없는 DEE 환경 모두에 효과적으로 작동하는 통합된 관계 조합 전략을 개발하기 위해.
• 고성능을 유지하면서도 파라미터 수와 자원 소비를 극적으로 줄인 경량 비자기적 모델을 설계하기 위해.
• 자동으로 선택된 흉내 트리거를 사용하여 애너테이션된 트리거의 대체 또는 보완을 시도함으로써, 다양한 데이터셋 간의 강건성과 호환성을 향상시키기 위해.

제안 방법

• 핵심 관계들은 흉내 트리거로 식별되고 이중 방향으로 연결되며, 나머지 관계들은 이러한 흉내 트리거에서 단방향으로 연결되는 잘라낸 완전 그래프를 구성한다.
• 관계 조합 정확도에 기여도를 평가하는 새로운 중요도 점수 메트릭을 사용하여 흉내 트리거를 자동으로 선택한다.
• 잘라낸 완전 그래프에 비자기적 디코딩 전략을 적용하여, 관계 조합을 순차적으로 생성하지 않고도 엔드 투 엔드 훈련 및 추론을 가능하게 한다.
• 이벤트 유형과 엔터티 추출을 위한 공통의 BiLSTM 인코더를 사용하고, 쌍별 유사도 계산을 통해 잘라낸 그래프의 인접 행렬을 구축한다.
• 인접 행렬 예측은 교차 엔트로피 손실을 통해 최적화되며, 최종 이벤트 기록은 예측된 이벤트 유형과 디코딩된 관계 조합을 조합하여 생성된다.
• 아키텍처는 유연하다: 각 이벤트당 하나의 흉내 트리거만 사용할 경우, 트리거 중심 트리로 축소되어 문장 수준 EE 파라다임과의 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 잘라낸 완전 그래프 기반의 비자기적 디코딩 전략이 문서 수준 이벤트 추출에서 높은 성능를 달성하면서도 훈련 및 추론 비용을 크게 줄일 수 있는가?
• RQ2 자동으로 선택된 흉내 트리거는 트리거 없는 또는 트리거 품질이 낮은 DEE 데이터셋에서 애너테이션된 트리거를 대체하거나 향상시키는 데 얼마나 효과적인가?
• RQ3 관계 조합 정확도와 인접 행렬 예측 성능 측면에서 흉내 트리거의 수와 모델 성능 사이의 트레이드오프는 어떠한가?
• RQ4 제안된 방법은 아키텍처 수정 없이 트리거 기반 및 트리거 없는 DEE 설정 모두에 일반화 가능한가?
• RQ5 중요도 점수 메트릭이 효과적인 흉내 트리거 선택을 어떻게 이끌 수 있으며, 전체 관계 조합 디코딩 성능 향상에 기여하는가?

주요 결과

• PTPCG 모델은 문서 수준 이벤트 추출 벤치마크에서 경쟁력 있는 F1 스코어를 달성하였으며, ChFinAnn에서 마이크로 평균 F1이 79.4로 최고 수준의 자기적 모델과 유사한 성능을 보였다.
• 이전 최고 성능 모델 대비 파라미터 수의 19.8%와 GPU 훈련 시간의 3.8%만을 사용하여 훈련 비용을 96.2% 감소시켰다.
• 자기적 모델 대비 추론 속도가 최대 8.5배 빨라져 실시간 배포에 매우 효율적인 성능을 발휘한다.
• 더 많은 흉내 트리거를 사용한 모델는 오차 상한선이 높아지지만 인접 행렬 정확도는 낮아지므로, 커버리지와 신뢰성 사이의 트레이드오프가 존재함을 시사한다.
• 중요도 점수 메트릭은 고품질의 흉내 트리거를 효과적으로 식별하며, 이 메트릭을 사용한 모델가 고정 또는 무작위 트리거 선택 모델보다 성능이 뛰어나다.
• 심지어 트리거 애너테이션이 존재하는 환경에서도 흉내 트리거가 성능 향상에 기여하며, 오직 애너테이션된 트리거에 의존하는 모델를 능가한다.