[논문 리뷰] Pack Together: Entity and Relation Extraction with Levitated Marker.

Deming Ye, Yankai Lin외 1명|arXiv (Cornell University)|2021. 09. 13.

Topic Modeling참고 문헌 55인용 수 14

한 줄 요약

이 논문은 사전에 학습된 인코더에 마커를 전략적으로 팩킹하여 Named Entity Recognition (NER) 및 Relation Extraction (RE)에서 스팬 간의 종속성을 모델링하는 새로운 스팬 표현 방법인 Packed Levitated Markers를 제안한다. 그룹 및 주제 중심의 패킹 전략을 사용함으로써, 평탄한 NER에서는 F1 점수를 0.4%-1.9% 향상시키고, ACE04/ACE05에서 스트릭트 관계 F1 점수를 3.5%-3.6% 향상시키며, 이전 최고 성능 모델들보다 더 빠른 추론 속도를 달성한다.

ABSTRACT

Named Entity Recognition (NER) and Relation Extraction (RE) are the core sub-tasks for information extraction. Many recent works formulate these two tasks as the span (pair) classification problem, and thus focus on investigating how to obtain a better span representation from the pre-trained encoder. However, a major limitation of existing works is that they ignore the dependencies between spans (pairs). In this work, we propose a novel span representation approach, named Packed Levitated Markers, to consider the dependencies between the spans (pairs) by strategically packing the markers in the encoder. In particular, we propose a group packing strategy to enable our model to process massive spans together to consider their dependencies with limited resources. Furthermore, for those more complicated span pair classification tasks, we design a subject-oriented packing strategy, which packs each subject and all its objects into an instance to model the dependencies between the same-subject span pairs. Our experiments show that our model with packed levitated markers outperforms the sequence labeling model by 0.4%-1.9% F1 on three flat NER tasks, beats the token concat model on six NER benchmarks, and obtains a 3.5%-3.6% strict relation F1 improvement with higher speed over previous SOTA models on ACE04 and ACE05. Code and models are publicly available at this https URL.

연구 동기 및 목표

• 대부분의 기존 NER 및 RE 모델이 표현 학습 중 스팬 간 종속성을 忽시하는 한계를 해결한다.
• 제한된 계산 자원 내에서 다수의 스팬(쌍) 간 상호작용을 효율적으로 모델링함으로써 스팬 표현을 향상시킨다.
• 거대한 수의 스팬을 공동 처리할 수 있도록 확장 가능한 패킹 메커니즘을 설계한다.
• 주제 중심의 종속성에 집중함으로써 복잡한 스팬 쌍 분류 작업에서 성능을 향상시킨다.
• 기존의 시퀀스 레이블링 및 토큰 연결 기반 모델들보다 더 높은 정확도와 더 빠른 추론 속도를 달성한다.

제안 방법

• 스팸 또는 스팸 쌍을 나타내기 위해 입력 시퀀스 내에 배치되는 특수 토큰인 레바티드 마커(levitated markers)를 도입하여, 모델이 동시에 여러 스팸에 주목하고 추론할 수 있도록 한다.
• 메모리 제약 조건 하에서 스팸 간 종속성을 모델링하기 위해 대규모 스팸을 군집하여 함께 처리하는 그룹 패킹 전략을 제안한다.
• 각 주제를 그와 관련된 모든 객체와 함께 하나의 인스턴스로 묶는 주제 중심 패킹 전략을 설계하여 주제별 종속성을 모델링한다.
• 사전에 학습된 인코더(예: BERT)에 팩킹된 마커를 통합하여, 관련 스팸의 맥락을 고려한 스팸 표현을 공동으로 학습한다.
• NER 및 RE를 위한 표준 스팸 분류 헤드를 사용하여 모델을 엔드 투 엔드로 훈련하며, 마커는 스팸 경계를 반영하도록 동적으로 위치된다.
• 구조적인 패킹을 통해 중복 계산을 줄임으로써 추론 속도를 최적화하여 장거리 시퀀스의 효율적 처리를 가능하게 한다.

실험 결과

연구 질문

• RQ1 독립적인 스팸 분류와 비교해 스팸 간 종속성을 모델링하면 공동 NER 및 RE 작업에서 성능 향상이 이루어지는가?
• RQ2 기하급수적인 계산 비용이 발생할 수 있는 대규모 스팸 간 종속성을 효율적으로 모델링할 수 있는 방법은 무엇인가?
• RQ3 일반적인 군집화 방식과 비교해 주제 중심의 스팸 패킹이 관계 추출 작업에서 더 높은 성능을 내는가?
• RQ4 제안된 마커 패킹 전략은 기존 방법들보다 더 빠른 추론 속도를 유지하면서 최고 성능을 달성할 수 있는가?
• RQ5 이 방법은 평탄한 구조와 중첩된 구조를 모두 포함한 다양한 NER 및 RE 벤치마크에서 잘 일반화되는가?

주요 결과

• 제안된 모델은 세 개의 평탄한 NER 벤치마크에서 기존 시퀀스 레이블링 기반 모델 대비 F1 점수를 0.4%-1.9% 향상시켰다.
• 여섯 개의 NER 벤치마크에서 토큰 연결 모델을 초월하여 스팸 표현 학습 능력이 뛰어나다는 것을 입증했다.
• ACE04 및 ACE05에서 이전 최고 성능 모델 대비 스트릭트 관계 F1 점수를 3.5%-3.6% 향상시켰다.
• 이전 최고 성능 접근 방식보다 더 높은 추론 속도를 유지함으로써 패킹 메커니즘이 효율성 향상에 기여했다.
• 주제 중심 패킹 전략은 주제 내 종속성을 모델링함으로써 복잡한 관계 추출 작업에서 성능 향상이著명했다.
• 중첩 및 평탄한 엔티티 구조를 포함한 다양한 데이터셋에서 잘 일반화됨을 확인했다.