[논문 리뷰] TPLinker: Single-stage Joint Extraction of Entities and Relations Through Token Pair Linking

Yucheng Wang, Bowen Yu외 4명|arXiv (Cornell University)|2020. 10. 26.

Topic Modeling참고 문헌 23인용 수 16

한 줄 요약

이 논문은 새로운 손바닥 태깅 체계를 사용하여 엔티티 및 관계 추출을 토큰 쌍 연결 작업으로 공식화하는 일단계 통합 추출 모델인 TPLinker를 제안한다. 순차적 의존성과 노출 편향을 제거함으로써 NYT 및 WebNLG 데이터셋에서 최신 기술 수준의 성능을 달성하며, 특히 겹치는 관계와 다중 관계 추출에서 뛰어난 성능을 발휘한다.

ABSTRACT

Extracting entities and relations from unstructured text has attracted increasing attention in recent years but remains challenging, due to the intrinsic difficulty in identifying overlapping relations with shared entities. Prior works show that joint learning can result in a noticeable performance gain. However, they usually involve sequential interrelated steps and suffer from the problem of exposure bias. At training time, they predict with the ground truth conditions while at inference it has to make extraction from scratch. This discrepancy leads to error accumulation. To mitigate the issue, we propose in this paper a one-stage joint extraction model, namely, TPLinker, which is capable of discovering overlapping relations sharing one or both entities while immune from the exposure bias. TPLinker formulates joint extraction as a token pair linking problem and introduces a novel handshaking tagging scheme that aligns the boundary tokens of entity pairs under each relation type. Experiment results show that TPLinker performs significantly better on overlapping and multiple relation extraction, and achieves state-of-the-art performance on two public datasets.

연구 동기 및 목표

• 학습 시 참값을 기반으로 하는 순차적 통합 추출 모델에서 발생하는 노출 편향 문제를 해결하기 위해.
• 기존 모델이 어려움을 겪는 겹치는 관계—특히 SingleEntityOverlap (SEO) 및 EntityPairOverlap (EPO)—를 효과적으로 추출할 수 있도록 하기 위해.
• 연속된 예측의 오류 전파를 방지하기 위해 단일 단계, 종단 간 엔드 프레임워크를 설계하기 위해.
• 실생활 텍스트에서 다중 관계 및 복잡한 겹침 관계 패턴에서의 성능 향상시키기 위해.

제안 방법

• TPLinker는 각 관계 유형이 세 가지 이진 태깅 작업(엔티티 경계 연결, 주어 시작 연결, 목적어 종료 연결)과 연관된 토큰 쌍 연결 문제로 통합 추출을 공식화한다.
• 엔티티 경계와 관계 헤드의 정확한 정렬을 가능하게 하기 위해, 관계 유형당 세 개의 별도 토큰 연결 행렬을 애너테이션하는 데 사용되는 새로운 손바닥 태깅 체계를 도입한다.
• 모델은 단일 순방향 전파를 통해 모든 엔티티 및 관계 스팬을 동시에 예측함으로써 이전 예측에 의존하는 것을 제거하고 노출 편향을 완화한다.
• 디코딩 과정은 세 개의 연결 행렬 예측을 조합하여 모든 유효한 엔티티 쌍과 관계를 추출함으로써, 자동회귀 생성 없이도 통합 추론을 가능하게 한다.
• TPLinker는 BERT를 기본 인코더로 사용하고, 토큰 표현에 선형 분류기 헤드를 적용하여 토큰 쌍 간의 연결 점수를 예측한다.
• 엔티티 및 관계 예측의 공동 최적화를 가능하게 하기 위해, 세 개의 연결 행렬에 대해 교차 엔트로피 손실을 사용하여 종단 간 훈련한다.

실험 결과

연구 질문

• RQ1 겹치는 관계와 다중 관계 추출에서 순차적 다단계 통합 추출 모델보다 성능이 뛰어난 단일 단계 모델이 가능할 수 있는가?
• RQ2 자동회귀 설계를 피함으로써 노출 편향을 제거하면, 복잡한 관계 패턴에서 성능에 어떤 영향을 미치는가?
• RQ3 토큰 쌍 연결 기반의 통합 태깅 체계가 동시에 엔티티 및 관계 추출을 효과적으로 모델링할 수 있는가?
• RQ4 제안된 손바닥 태깅 체계는 어떤 정도로 EntityPairOverlap (EPO) 및 SingleEntityOverlap (SEO) 사례에서 성능 향상에 기여하는가?
• RQ5 CasRel과 같은 자동회귀 기반 베이스라인과 비교했을 때 TPLinker는 효율성과 확장성 측면에서 어떻게 성능을 내는가?

주요 결과

• TPLinker는 BERT 기반 아키텍처를 사용하여 NYT 데이터셋에서 90.1 F1, WebNLG 데이터셋에서 87.9 F1의 최신 기술 수준의 F1 스코어를 달성한다.
• 다섯 개 이상의 관계를 포함하는 문장에서 TPLinker는 CasRel BERT보다 6.3%포인트 높은 성능(96.1 vs. 89.9 F1)을 기록하여, 복잡하고 높은 관계 밀도를 가지는 케이스에서 뛰어난 성능을 보여준다.
• WebNLG-SEO에서 93.4 F1, WebNLG-EPO에서 94.0 F1을 기록하여, 이전 방법들보다 겹치는 관계 패턴에서 뚜렷한 성능 향상을 보였다.
• 배치 처리 환경에서 TPLinker의 추론 속도는 CasRel BERT보다 약 3.6배 빠르며, 평균 추론 시간은 15.2ms/샘플(비교 대상 CasRel BERT는 54.0ms)이다.
• 배치 크기가 1이어도 TPLinker BERT는 경쟁 가능한 추론 속도(82.7ms)를 유지하여 효율성과 구현 가능성(배포 가능성)을 확인한다.
• 광범위한 추상화 분석 결과, 손바닥 태깅 체계는 특히 EPO 및 SEO 시나리오에서 겹치는 관계를 모델링하는 데 핵심적인 역할을 한다.