[논문 리뷰] Entity-Relation Extraction as Multi-Turn Question Answering

Xiaoya Li, Fan Yin외 6명|arXiv (Cornell University)|2019. 05. 14.

Topic Modeling참고 문헌 52인용 수 48

한 줄 요약

논문은 엔티티-관계 추출을 다중 턴 QA 문제로 형식화하고, QA 스타일 템플릿과 BERT 기반 MRC 모델로 엔티티와 관계를 공동으로 추출하며 ACE04, ACE05, CoNLL04에서 새로운 SOTA를 달성하고 RESUME를 계층적 추론용 데이터셋으로 소개한다.

ABSTRACT

In this paper, we propose a new paradigm for the task of entity-relation extraction. We cast the task as a multi-turn question answering problem, i.e., the extraction of entities and relations is transformed to the task of identifying answer spans from the context. This multi-turn QA formalization comes with several key advantages: firstly, the question query encodes important information for the entity/relation class we want to identify; secondly, QA provides a natural way of jointly modeling entity and relation; and thirdly, it allows us to exploit the well developed machine reading comprehension (MRC) models. Experiments on the ACE and the CoNLL04 corpora demonstrate that the proposed paradigm significantly outperforms previous best models. We are able to obtain the state-of-the-art results on all of the ACE04, ACE05 and CoNLL04 datasets, increasing the SOTA results on the three datasets to 49.4 (+1.0), 60.2 (+0.6) and 68.9 (+2.1), respectively. Additionally, we construct a newly developed dataset RESUME in Chinese, which requires multi-step reasoning to construct entity dependencies, as opposed to the single-step dependency extraction in the triplet exaction in previous datasets. The proposed multi-turn QA model also achieves the best performance on the RESUME dataset.

연구 동기 및 목표

• 엔티티-관계 추출에 대해 계층적 의존성을 포착하기 위한 통합적이고 질문-대답 형식의 formulation을 제안한다.
• 헤드 엔티티와 테일/관계 스테이지를 가진 다중 턴 QA 파이프라인을 제안한다.
• BMEO 태깅이 포함된 BERT 기반 MRC 모델을 활용하여 맥락당 다중 개정 답변을 추출한다.
• ACE04, ACE05, CoNLL04 데이터셋에서 최첨단 결과를 보여주고 중국어용 RESUME를 다중 턴 추론을 위해 도입한다.

제안 방법

• 템플릿으로 안내되는 순차적 QA 턴으로 엔티티와 관계 추출을 공식화한다.
• 두 단계 추출을 사용한다: 엔티티-특정 질문을 통한 헤드 엔티티 추출 후 연쇄된 관계/테일 엔티티 질문으로 진행한다.
• 자연어 또는 의사 질문에서 질문을 생성하고, 이전에 추출된 엔티티로 슬롯을 채운다.
• 턴 간 예측을 위해 BMEO 태깅이 적용된 BERT 기반 MRC를 채택한다.
• 턴별 추출 보상을 최적화하기 위해 강화학습(REINFORCE)을 선택적으로 적용한다.
• 손실 함수 L = (1-λ)L_head-entity + λ L_tail-entity+relation으로 학습하고, 두 스테이지 간 매개변수를 공유한다.

실험 결과

연구 질문

• RQ1 다중 턴 QA 패러다임이 복잡한 구조에서 엔티티와 관계 간의 계층적 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 정보성 질문 템플릿의 도입이 비전통적인 3요소(triplet) 접근법에 비해 멀리 떨어진 또는 다중 히프 관계의 추출을 개선하는가?
• RQ3 강화학습과 커리큘럼 전략이 다중 턴 QA 기반 엔티티-관계 추출에 어떤 이점을 제공하는가?
• RQ4 표준 벤치마크 ACE04, ACE05, CoNLL04에서의 성능과 더 깊은 다중 턴 추론이 필요한 새로운 데이터셋 RESUME에서의 성능은 어떠한가?

주요 결과

• ACE04에서 엔티티 F1이 1.0 상승, ACE05에서 엔티티 F1이 1.2 상승, CoNLL04에서 관계 F1이 1.1 상승하는 최첨단 결과를 달성했다.
• 다층적 태깅 의존성을 포착하는 다중 턴 QA 프레임워크를 활용하여 이전의 결합(Joint) 및 파이프라인 모델보다 우수한 성능을 보였다.
• 자연어 질문 템플릿이 의사 질문보다 데이터셋 전반에서 더 나은 성능을 낸다.
• 강화학습은 특히 더 많은 턴에서 성능 향상을 제공한다(예: RESUME).
• RESUME 데이터셋은 중국어 전기에 대해 네 턴 추출을 통한 다단 추론 능력을 보여준다.