[논문 리뷰] Towards Effective Multi-Task Interaction for Entity-Relation Extraction: A Unified Framework with Selection Recurrent Network

Xu An Wang, Ao Liu외 2명|arXiv (Cornell University)|2022. 02. 15.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 NER와 RE 간의 형식 격차를 제거하기 위해 실체-관계 추출을 세 가지 스파ن 추출 작업—실체 추출, 주어 추출, 주어 중심의 개체 추출—으로 재구성하는 통합 캐스케이드 프레임워크를 제안한다. 이는 암묵적인 다중 작업 상호작용을 위한 선택적 순환 신경망(SRN)과 순차적 정보 흐름을 위한 두 가지 융합 전략(조기 융합 및 후기 융합)을 도입하여 ACE05 및 SciERC에서 최고 성능을 달성하며, NER와 RE 간에 상호 이득을 크게 확보한다.

ABSTRACT

Entity-relation extraction aims to jointly solve named entity recognition (NER) and relation extraction (RE). Recent approaches use either one-way sequential information propagation in a pipeline manner or two-way implicit interaction with a shared encoder. However, they still suffer from poor information interaction due to the gap between the different task forms of NER and RE, raising a controversial question whether RE is really beneficial to NER. Motivated by this, we propose a novel and unified cascade framework that combines the advantages of both sequential information propagation and implicit interaction. Meanwhile, it eliminates the gap between the two tasks by reformulating entity-relation extraction as unified span-extraction tasks. Specifically, we propose a selection recurrent network as a shared encoder to encode task-specific independent and shared representations and design two sequential information propagation strategies to realize the sequential information flow between NER and RE. Extensive experiments demonstrate that our approaches can achieve state-of-the-art results on two common benchmarks, ACE05 and SciERC, and effectively model the multi-task interaction, which realizes significant mutual benefits of NER and RE.

연구 동기 및 목표

• 기존의 통합 모델에서 작업 형식 불일치와 충돌하는 표현으로 인해 NER와 관계 추출(RE) 간 상호 이득이 제한되는 문제를 해결한다.
• 교차 작업 상호작용을 忽시하고 삼중관계 외 실체에서 실패하는 파이프라인 방법의 한계를 극복한다.
• 공유 인코더에서의 암묵적 상호작용으로 인한 NER 성능 저하, 특히 삼중관계에 포함되지 않은 실체에 대해 완화한다.
• NER와 RE 간 암묵적 상호작용과 명시적 순차적 정보 흐름을 모두 가능하게 하는 통합 프레임워크를 설계한다.
• 작업 특화 및 공유 표현을 유지하면서 다중 작업 상호작용을 효과적으로 모델링하여 최고 성능을 달성한다.

제안 방법

• 실체-관계 추출을 다중 라운드 스파인 추출 작업으로 재구성: 실체 추출, 주어 추출, 주어 중심의 개체 추출.
• 작업 특화 독립적 및 공유 특징을 갖는 토큰 표현을 생성하기 위해 BERT 기반 임베더와 공유 선택적 순환 신경망(SRN) 인코더를 사용한다.
• 두 가지 순차적 정보 전파 전략 설계: 조기 융합(실체 및 주어 마커를 입력에 삽입) 및 후기 융합(인코딩된 표현을 재사용하고 사전 정보를 임베딩으로 삽입).
• 공유 표현 내에서 작업 특화 및 공유 구성 요소를 동적으로 주목할 수 있도록 SRN에 선택 메커니즘 구현하여 간섭을 감소시킨다.
• 모든 세 작업에 대해 통합 레이블 공간에서 종합 최적화를 통해 모델을 엔드 투 엔드로 훈련시킨다.
• 후기 융합 전략을 구현하여 인코딩된 표현을 재사용함으로써 추론 속도를 향상시키고, 조기 융합 대비 계산 비용을 절감한다.

실험 결과

연구 질문

• RQ1 NER와 RE를 스파인 추출 작업으로 간주하는 통합 프레임워크가 작업 형식 격차를 줄이고 다중 작업 상호작용을 향상시킬 수 있는가?
• RQ2 NER에서 RE로의 명시적 순차적 정보 흐름이, 특히 삼중관계 외 실체에 대해 성능 향상에 기여하는가?
• RQ3 선택적 순환 신경망이 작업 특화 및 공유 표현을 효과적으로 분리하여 공동 학습에서의 간섭을 최소화할 수 있는가?
• RQ4 조기 융합과 후기 융합 전략의 선택이 성능와 추론 효율성에 어떤 영향을 미치는가?
• RQ5 NER와 RE의 공동 훈련이 상호 이득을 줄 정도로, 특히 도전적인 삼중관계 외 실체에서 얼마나 효과적인가?

주요 결과

• 제안된 프레임워크는 ACE05 및 SciERC에서 최고 성능을 기록하며, 이전 최고 성능 모델 대비 NER와 RE F1 점수 모두에서 슈퍼리어하다.
• 조기 융합 전략은 높은 성능(NER F1: 69.2, RE F1: 38.7)을 달성하지만 속도가 느리며(9.04 문장/초), 후기 융합 전략은 성능 약간의 하락에도 불구하고 32.7배의 속도 향상(295.04 문장/초)을 제공한다.
• 삼중관계 외 실체에서 조기 융합 모델은 SciERC에서 PFN 대비 3.8% 향상되고 ACE05에서는 1.0% 향상되어, 관계에 포함되지 않은 실체를 더 잘 처리함을 입증한다.
• 절단 실험 결과, NER에서 RE로의 일방적 정보 흐름을 제거하면 NER F1은 3.0% 감소하고 RE F1은 3.1% 감소하여 순차적 전파의 효과를 입증한다.
• 독립 훈련 대비 공동 훈련이 NER 성능을 크게 향상시켜, RE가 NER에 의미 있는 지도 정보를 제공함을 보여준다.
• 실제로 존재하는 모든 실체를 후보 주어로 사용(실제 주어만이 아니라)하면 RE F1 점수가 5% 향상되어 객체 모듈의 노출 편향을 감소시킨다.