[논문 리뷰] A Frustratingly Easy Approach for Entity and Relation Extraction

Zexuan Zhong, Danqi Chen|arXiv (Cornell University)|2020. 10. 24.

Topic Modeling참고 문헌 37인용 수 35

한 줄 요약

PURE는 엔드 투 엔드 엔티티 및 관계 추출을 위한 타입 마커가 있는 간단한 두 인코더 파이프라인을 제시하며, ACE04, ACE05, SciERC에서 새로운 최첨단 성과를 달성하고 효율적인 추론 근사치를 제공한다.

ABSTRACT

End-to-end relation extraction aims to identify named entities and extract relations between them. Most recent work models these two subtasks jointly, either by casting them in one structured prediction framework, or performing multi-task learning through shared representations. In this work, we present a simple pipelined approach for entity and relation extraction, and establish the new state-of-the-art on standard benchmarks (ACE04, ACE05 and SciERC), obtaining a 1.7%-2.8% absolute improvement in relation F1 over previous joint models with the same pre-trained encoders. Our approach essentially builds on two independent encoders and merely uses the entity model to construct the input for the relation model. Through a series of careful examinations, we validate the importance of learning distinct contextual representations for entities and relations, fusing entity information early in the relation model, and incorporating global context. Finally, we also present an efficient approximation to our approach which requires only one pass of both entity and relation encoders at inference time, achieving an 8-16$ imes$ speedup with a slight reduction in accuracy.

연구 동기 및 목표

• 별도 인코더를 가진 파이프라인이 공동 모델보다 성능을 능가할 수 있는지 평가하기 위해 엔드 투 엔드 관계 추출을 다시 검토한다.
• 엔티티와 관계에 대한 서로 다른 맥락 표현이 유익하다는 것을 보여준다.
• 엔티티 정보와 타입 마커의 조기 융합이 관계 이해를 향상시킨다는 것을 보여준다.
• 큰 정확도 감소 없이 런타임을 가속화하는 효율적인 추론 근사치를 제안한다.

제안 방법

• 스팬 수준 엔티티 예측을 위한 엔티티 모델과 스팬 쌍 관계 예측을 위한 관계 모델의 두 독립 인코더로 분리한다.
• 관계 모델에서 주제와 객체 스팬 주변에 타입 마커를 삽입하여 쌍별 맥락 표현을 얻는 입력을 생성한다.
• 관계 모델의 입력 계층에서 엔티티 정보(경계 및 타입)를 융합하여 관계 구분력을 향상시킨다.
• 고정된 창 내에서 교차 문맥을 확장하여 더 넓은 맥락을 활용하도록 선택적으로 입력을 확장한다.
• 두 작업 모두에 대해 표준 교차 엔트로피 손실로 학습한다; 관계 모델은 골드 엔티티를 사용하고 추론 시 예측 엔티티를 사용한다.
• 마커 위치를 스팬 토큰의 시작/끝에 묶고 어텐션을 제약하여 텍스트 토큰 계산을 재사용하는 효율적인 배치 기반 근사를 제공하고, 추론 시 여러 스팬-쌍 입력의 배치를 가능하게 한다.

실험 결과

연구 질문

• RQ1 표준 벤치마크에서 엔드투엔드 관계 추출에 대해 두 인코더 파이프라인 설계가 공동 모델보다 성능이 우수한가?
• RQ2 엔티티와 관계에 대한 서로 다른 맥락 표현 및 엔티티 정보의 조기 융합이 공유 표현보다 성능 향상을 가져오는가?
• RQ3 효율적인 추론 근사가 엔드투엔드 관계 추출의 정확성을 크게 떨어뜨리지 않으면서도 경쟁력 있는 성능을 유지할 수 있는가?
• RQ4 이 프레임워크에서 문장 간 맥락이 엔티티 인식 및 관계 추출에 미치는 영향은 무엇인가?

주요 결과

• 제안된 separate 인코더를 가진 PURE 파이프라인은 동일한 사전 학습 인코더를 사용할 때 ACE04, ACE05, SciERC에서 관계 F1에서 이전의 공동 모델을 능가한다.
• 엔티티와 관계에 대해 서로 다른 맥락 표현을 학습하는 것이 표현 공유보다 유리하다.
• 관계 모델 입력에서 엔티티 경계 및 타입 정보를 조기에 융합하는 것이 관계 이해를 크게 향상시킨다.
• 문장 간 맥 context은 엔티티 및 관계 예측 모두에서 추가 이점을 제공한다.
• 배치 추론을 위한 근사는 관계 F1의 소폭 감소만 동반하고 8–16배의 속도 향상을 제공합니다(예: ACE05에서 약 1%).