[논문 리뷰] Joint Extraction of Entities and Relations Based on a Novel Decomposition Strategy

Bowen Yu, Zhenyu Zhang외 5명|arXiv (Cornell University)|2019. 09. 10.

Topic Modeling참고 문헌 33인용 수 55

한 줄 요약

두 단계의 extract-then-label 프레임워크를 도입하여 공동 엔티티-관계 추출을 Head-Entity(HE)와 Tail-Entity 및 Relation(TER) 서브태스크로 분해하고, span 기반 태깅 체계와 계층적 경계 태거를 사용하여 중첩 관계를 공동으로 효율적으로 추출한다.

ABSTRACT

Joint extraction of entities and relations aims to detect entity pairs along with their relations using a single model. Prior work typically solves this task in the extract-then-classify or unified labeling manner. However, these methods either suffer from the redundant entity pairs, or ignore the important inner structure in the process of extracting entities and relations. To address these limitations, in this paper, we first decompose the joint extraction task into two interrelated subtasks, namely HE extraction and TER extraction. The former subtask is to distinguish all head-entities that may be involved with target relations, and the latter is to identify corresponding tail-entities and relations for each extracted head-entity. Next, these two subtasks are further deconstructed into several sequence labeling problems based on our proposed span-based tagging scheme, which are conveniently solved by a hierarchical boundary tagger and a multi-span decoding algorithm. Owing to the reasonable decomposition strategy, our model can fully capture the semantic interdependency between different steps, as well as reduce noise from irrelevant entity pairs. Experimental results show that our method outperforms previous work by 5.2%, 5.9% and 21.5% (F1 score), achieving a new state-of-the-art on three public datasets

연구 동기 및 목표

• 노이즈가 많은 엔티티 쌍을 많이 생성하지 않고도 엔티티와 관계의 효율적인 공동 추출을 동기 부여한다.
• 작업을 HE 추출과 TER 추출로 분해하여 Head-Entity의 의미적 및 위치적 정보를 활용한다.
• 끝-to-end 추출을 위한 span 기반 태깅 체계와 계층적 경계 태거를 제안한다.
• HE와 TER 단계 간의 상호작용 모델링으로 중첩 관계를 포착할 수 있도록 한다.

제안 방법

• ETL(Extract-Then-Label) 프레임워크에서 먼저 HE 추출을 수행하고 그다음 TER 추출을 수행한다.
• HE는 시작/끝 위치 라벨을, TER는 꼬리 엔티티의 시작/끝 위치 라벨과 관련 관계 태그를 사용하는 span 기반 태깅 체계를 도입한다.
• BiLSTM 인코더를 공유하는 계층적 경계 태거(HBT)를 개발하여 시작 위치 라벨링과 끝 위치 라벨링을 연쇄하고 표현을 공유한다.
• 주어진 머리 엔티티에 대해 다중 꼬리 엔티티와 관계를 공동으로 디코딩하는 다중-span 디코딩 알고리즘을 사용한다.
• 공유 표현과 함께 HE와 TER 손실을 결합한 공동 최적화(L = L_HE + L_TER)로 훈련을 형식화한다.

실험 결과

연구 질문

• RQ1 HE와 TER 서브태스크로 분해하는 것이 통합 라벨링이나 추출-다중 분류 방법보다 정확도를 향상시킬 수 있는가?
• RQ2 스팬 기반 라벨링과 계층식 디코딩이 중첩 관계를 더 잘 다루고 비관계 엔티티 쌍으로 인한 노이즈를 줄여주는가?
• RQ3 공유 인코더와 Head-Entity 특화 조건부 학습으로 HE와 TER를 함께 학습하면 어떤 성능 이득이 발생하는가?
• RQ4 제안된 ETL-Span 접근법이 일반, SEO, EPO 문장 범주에 대해 표준 데이터셋에서 최첨단과 어떻게 비교되는가?

주요 결과

• ETL-Span은 NYT-single, NYT-multi, WebNLG에서 이전 방법을 능가하며 최첨단 F1 점수를 달성한다: NYT-single 59.0%, NYT-multi 78.0%, WebNLG 83.1%.
• ETL-Span은 추출-다중 분류 기반 베이스라인(GraphRel 등) 대비 F1에서 NYT-multi 16.1%, WebNLG 40.2%의 상당한 이점을 보인다.
• 특정 위치 인식 TER 신호, 계층적 태깅, 공동 HE-TER 학습의 중요성을 고찰한 소거(아베이션) 분석에서 전체 성능의 기여를 확인.
• 스팬 기반 디코딩(ETL-Span)은 CRF 기반 대안(ETL-BIES)보다 속도가 빠르고 GPU 메모리 사용량이 적으면서도 높은 정확도를 유지한다.
• HE와 TER를 분해 전략으로 함께 학습하면 학습 제약이 생겨 NYT-single에서의 F1이 약 5.3% 개선된다(개별 학습 대비).
• 해당 방법은 일반, SEO, EPO 범주에서 효과적이며, EPO는 여전히 도전적이지만 NYT-multi에서 중첩 범주 전반에서 강한 성능을 보인다.