[논문 리뷰] Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme

Suncong Zheng, Feng Wang외 4명|arXiv (Cornell University)|2017. 06. 07.

Topic Modeling참고 문헌 27인용 수 106

한 줄 요약

논문은 결합 엔티티-관계 추출을 시퀀스 태깅 작업으로 전환하는 태깅 체계를 도입하고, 편향된 디코딩 객체로 엔드투엔드 Bi-LSTM/LSTM 모델을 평가하여 NYT 원격 레이블링 데이터셋에서 최첨단 성과를 달성한다.

ABSTRACT

Joint extraction of entities and relations is an important task in information extraction. To tackle this problem, we firstly propose a novel tagging scheme that can convert the joint extraction task to a tagging problem. Then, based on our tagging scheme, we study different end-to-end models to extract entities and their relations directly, without identifying entities and relations separately. We conduct experiments on a public dataset produced by distant supervision method and the experimental results show that the tagging based methods are better than most of the existing pipelined and joint learning methods. What's more, the end-to-end model proposed in this paper, achieves the best results on the public dataset.

연구 동기 및 목표

• 엔티티와 관계의 공동 추출 동기를 부여하고 태깅으로 작업을 전환하여 특징 공학을 줄인다.
• 태그 내에서 엔티티 경계와 관계 역할을 인코딩하는 새로운 태깅 체계를 제안한다.
• 편향 디코딩 객체를 갖춘 엔드투엔드 Bi-LSTM 기반 모델을 개발하여 엔티티 쌍과 관계를 함께 추출한다.

제안 방법

• B/I/E/S-Relation-Role 형식의 태그와 불irrelevant 워드를 위한 O 태그를 정의한다.
• 미리 정의된 관계 집합과 역할을 사용하여 삼중항 추출을 시퀀스 태깅으로 변환한다.
• 편향 손실을 가진 인코더-디코더 Bi-LSTM 엔드투엔드 모델을 구현하여 관계 태그를 강조한다.
• distant-supervised NYT 데이터셋에서 RMSprop으로 학습하고 삼중항에 대해 정밀도, 재현율, F1로 평가한다.
• 파이프라인, 결합학습 및 기타 엔드투엔드 태깅 베이스라인과 비교한다.
• 정밀도와 재현율의 균형을 맞추기 위해 알파(편향 매개변수)를 조정한다.

실험 결과

연구 질문

• RQ1 태깅 기반 접근법이 공동 엔티티 및 관계 추출을 시퀀스 태깅 문제로 효과적으로 변환할 수 있는가?
• RQ2 편향 디코딩 객체를 가진 엔드투엔드 Bi-LSTM 모델이 NYT-멀리 감독 데이터에서 기존 방법보다 삼중항 추출을 개선하는가?
• RQ3 제안된 태깅 체계가 두 엔티티 간의 관계 연결을 어떻게 처리하고 편향이 성능에 미치는 영향은 무엇인가?

주요 결과

• 태깅 기반의 엔드투엔드 모델이 NYT 데이터셋에서 대부분의 파이프라인 및 결합학습 기반 베이스라인을 능가한다.
• LSTM-LSTM-Bias가 모든 실험 방법 중 최고 F1 점수를 달성하며 CoType보다 약 3 포인트 높다.
• 공동 추출 모델은 일반적으로 파이프라인 접근법보다 우수하며 태깅 기반 방법은 많은 공동 방법에 비해 경쟁력이 있거나 우수하다.
• 편향 손실을 사용하면 관련 엔티티 간의 연결이 증가하고 기초 베이스라인에 비해 단일(연결되지 않은) 엔티티가 감소한다.
• 편향으로 인한 LSTM 디코딩은 정밀도와 재현율의 균형을 개선하여 알파가 약 10일 때 가장 강한 F1를 보인다.