[논문 리뷰] Event Extraction by Answering (Almost) Natural Questions

Xinya Du, Claire Cardie|arXiv (Cornell University)|2020. 04. 28.

Topic Modeling참고 문헌 37인용 수 24

한 줄 요약

이 논문은 BERT를 사용하여 트리거 검출과 인자 추출을 질문-답변(QA) 작업으로 재구성함으로써 사전에 실체 인식이 필요 없도록 하는 새로운 질문-답변(QA) 프레임워크를 제안한다. 이 방법은 ACE 2005에서 최신 기준 성능을 달성하며, 훈련 중에 볼 수 없었던 인자 역할에 대해서도 강력한 제로샷 일반화 성능을 보여준다.

ABSTRACT

The problem of event extraction requires detecting the event trigger and extracting its corresponding arguments. Existing work in event argument extraction typically relies heavily on entity recognition as a preprocessing/concurrent step, causing the well-known problem of error propagation. To avoid this issue, we introduce a new paradigm for event extraction by formulating it as a question answering (QA) task that extracts the event arguments in an end-to-end manner. Empirical results demonstrate that our framework outperforms prior methods substantially; in addition, it is capable of extracting event arguments for roles not seen at training time (zero-shot learning setting).

연구 동기 및 목표

• 분리된 실체 인식에 의존하는 전통적인 이벤트 추출 파이프라인에서 발생하는 오류 전파 문제를 해결하기 위해.
• 특히 저자원 또는 제로샷 설정에서 의미적으로 유사한 인자 역할 간 지식 전이에 한계가 있는 신경망 모델의 한계를 극복하기 위해.
• 자연어 질문을 직접 사용하여 이벤트 트리거와 인자를 통합적으로 엔드 투 엔드로 추출하는 단일 프레임워크를 개발하기 위해.
• 학습 중에 볼 수 없었던 인자 역할에 대해서도 제로샷 이벤트 인자 추출을 가능하게 하기 위해 질문 템플릿을 통해 의미 유사성을 활용하기 위해.

제안 방법

• 질문이 이벤트 트리거와 그 유형을 식별하도록 설계된 BERT 기반 QA 작업으로 트리거 검출을 재구성한다.
• 인자 추출을 위해 다수의 질문 템플릿—유형 + 역할, 애너테이션 가이드라인 기반, 규칙 기반—을 사용하여 자연스럽고 맥락에 민감한 질문을 생성한다.
• 입력 텍스트에서 스패닝 예측을 사용하는 두 개의 BERT 기반 QA 모델을 훈련한다: 하나는 트리거 검출을 위한 것이고, 다른 하나는 인자 스팬 추출을 위한 것이다.
• 추론 중에 저신뢰도 예측을 걸러내기 위해 동적 임계값 설정 메커니즘을 적용하여 정밀도를 향상시킨다.
• BERT에서 유도된 문맥 기반 표현을 활용하여 질문, 트리거, 후보 인자 스팬 간의 의미 관계를 포착한다.
• 언어 규칙과 애너테이션 가이드라인 기술을 사용하여 질문 템플릿을 설계함으로써 자연스러움과 성능을 향상시키며, 합성적이거나 비자연스러운 질의에 의존하지 않도록 한다.

실험 결과

연구 질문

• RQ1 이벤트 추출을 효과적으로 질문-답변 작업으로 재구성함으로써 사전에 트레이닝된 실체 인식에 의존하지 않을 수 있는가?
• RQ2 특히 애너테이션 가이드라인을 통합한 질문 생성 전략이 이벤트 추출 모델의 성능에 어떤 영향을 미치는가?
• RQ3 QA 기반 프레임워크는 훈련 중에 볼 수 없었던 인자 역할로도 일반화할 수 있는가? 즉, 제로샷 이벤트 인자 추출이 가능한가?
• RQ4 기존의 신경망 및 통합 모델 대비 QA 파рад림이 트리거 검출 및 인자 스팬 추출 성능 향상에 얼마나 기여하는가?
• RQ5 자연스럽고 인간과 유사한 질문을 사용할 경우, 이는 이벤트 추출 작업에서 모델의 일반화 능력과 견고성에 어떤 영향을 미치는가?

주요 결과

• 제안된 QA 기반 프레임워크는 ACE 2005 이벤트 추출 벤치마크에서 트리거 검출 및 인자 추출 모두에서 이전 최고 성능 방법을 능가한다.
• 이 프레임워크는 강력한 제로샷 일반화 성능을 보이며, 해당 인자 역할에 대한 미세조정 없이도 이전에 볼 수 없었던 인자 역할의 인자를 성공적으로 추출한다.
• 애너테이션 가이드라인 기술을 포함한 질문 템플릿이 더 단순하거나 더 합성적인 템플릿보다 더 높은 성능을 낸다.
• 엔드 투 엔드 QA 접근은 실체 인식에서 발생하는 오류 전파를 제거하여 더 견고하고 정확한 인자 추출을 가능하게 한다.
• 철저히 설계된 자연스러운 질문을 사용한 BERT의 활용은 제한된 훈련 예제가 있는 상황에서도 의미적으로 유사한 인자 역할 간 지식 전이를 효과적으로 가능하게 한다.
• 추론 중 동적 임계값 설정을 통해 저신뢰도 예측을 걸러내어 정밀도를 향상시켜 전체 모델의 신뢰성을 높인다.