[논문 리뷰] A Sequence-to-Set Network for Nested Named Entity Recognition

Zeqi Tan, Yongliang Shen외 3명|arXiv (Cornell University)|2021. 05. 19.

Topic Modeling참고 문헌 30인용 수 5

한 줄 요약

이 논문은 중첩 명명된 엔터티 인식(NER)을 위한 순서에서 집합으로의 네트워크를 제안하며, 엔터티 예측을 순서 없는 집합 생성 작업으로 간주하여 순서 기반 모델과 스파닝 기반 방법의 한계를 극복한다. 학습 가능한 엔터티 쿼리와 자기주도적 생성이 없는 디코더를 사용함으로써 상호 엔터티 간 의존성을 포착하고, ACE 2004, ACE 2005, KBP 2017에서 최신 기술 수준(SOTA) 성능을 달성하여 이전 방법보다 F1 점수에서 최대 2.99% 향상시켰다.

ABSTRACT

Named entity recognition (NER) is a widely studied task in natural language processing. Recently, a growing number of studies have focused on the nested NER. The span-based methods, considering the entity recognition as a span classification task, can deal with nested entities naturally. But they suffer from the huge search space and the lack of interactions between entities. To address these issues, we propose a novel sequence-to-set neural network for nested NER. Instead of specifying candidate spans in advance, we provide a fixed set of learnable vectors to learn the patterns of the valuable spans. We utilize a non-autoregressive decoder to predict the final set of entities in one pass, in which we are able to capture dependencies between entities. Compared with the sequence-to-sequence method, our model is more suitable for such unordered recognition task as it is insensitive to the label order. In addition, we utilize the loss function based on bipartite matching to compute the overall training loss. Experimental results show that our proposed model achieves state-of-the-art on three nested NER corpora: ACE 2004, ACE 2005 and KBP 2017. The code is available at https://github.com/zqtan1024/sequence-to-set.

연구 동기 및 목표

• 자기주도적 생성으로 인해 레이블 순서에 민감한 순서 기반 모델의 한계를 해결하기 위해 순서 기반 NER에서의 문제를 해결한다.
• 스파닝 기반 방법에서 높은 탐색 공간과 스팬 간 상호작용 부족 문제를 해결하기 위해 명시적 스팬 열거를 학습 가능한 엔터티 쿼리로 대체한다.
• 중첩 명명된 엔터티를 순서 없는 집합 예측 작업으로 간주하여 엔드 투 엔드, 한 번의 통과로 엔터티 집합 생성을 가능하게 한다.
• 엔터티 쿼리 간 자기주도적 어텐션을 통해 예측된 엔터티 간의 의존성을 포착함으로써 성능을 향상시킨다.
• 순서 없는 집합 예측에 더 적합한 교차 엔트로피 손실보다도 이항 매칭 기반의 손실 함수를 기반으로 한 학습 목표를 개발한다.

제안 방법

• 입력 텍스트를 문맥적 표현으로 인코딩하기 위해 순서 인코더(BERT 또는 BiLSTM)를 사용한다.
• 고정된 학습 가능한 엔터티 쿼리 세트를 도입하여 잠재적 엔터티를 표현하며, 학습 도중 유의미한 스팬 패tern을 학습하도록 업데이트된다.
• 순서 기반 디코더는 순서 인코딩과 엔터티 쿼리 간의 교차 어텐션을 사용하여 단일 전방 전파에서 최종 엔터티 집합을 예측한다.
• 엔터티 쿼리 간 자기주도적 어텐션을 통해 예측된 엔터티 간의 직접적인 의존성 모델링이 가능하다.
• 전체 학습 손실을 계산하기 위해 이항 매칭 기반 손실 함수를 사용하며, 레이블 순서가 필요 없이 예측된 엔터티 집합과 실제 엔터티 집합을 정렬한다.
• 이항 매칭 손실을 사용하여 엔드 투 엔드로 학습되며, 이는 교차 엔트로피 손실보다 순서 없는 집합 예측에 더 적합하다.

실험 결과

연구 질문

• RQ1 순서 기반 모델에서 내재된 레이블 순서 민감성 문제를 피하기 위해 중첩 NER를 순서에서 집합으로의 작업으로 간주함으로써 성능 향상을 이룰 수 있는가?
• RQ2 학습 가능한 엔터티 쿼리가 명시적 스팬 열거를 효과적으로 대체하고 탐색 공간을 줄이면서 정확도를 유지하거나 향상시킬 수 있는가?
• RQ3 엔터티 쿼리 간 자기주도적 어텐션을 갖춘 비자기주도적 디코더가 자동주도적 또는 스팬 기반 방법보다 상호 엔터티 간 의존성을 더 잘 포착할 수 있는가?
• RQ4 이항 매칭 손실이 교차 엔트로피 손실보다 중첩 NER의 순서 없는 집합 예측 학습에 더 효과적인가?
• RQ5 제안된 모델이 복잡한 사전/사후 처리나 오류가 발생하기 쉬운 스팬 생성 파이프라인에 의존하지 않고도 여러 중첩 NER 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 모델은 세 가지 주요 중첩 NER 벤치마크에서 최신 기술 수준의 F1 점수를 달성하였다: ACE 2004에서 87.26, ACE 2005에서 87.05, KBP 2017에서 85.75.
• 강력한 베이스라인 대비 ACE 2004에서 F1 점수 0.56% 향상, ACE 2005에서 1.65%, KBP 2017에서 2.99% 향상되었다.
• 엔터티 쿼리를 고정시키면 ACE 2004에서 F1 점수 0.40% 감소하고 ACE 2005에서 0.81% 감소하여 쿼리가 의미 있는 스팬 패턴을 학습하고 있음을 보여준다.
• 교차 엔트로피 손실을 이항 매칭 손실로 대체하면 ACE 2004에서 F1 점수 2.67% 향상, ACE 2005에서 1.11% 향상되어 순서 없는 집합 예측에 효과적임을 확인한다.
• 제거 실험 결과 학습 가능한 엔터티 쿼리와 이항 매칭 손실이 모델 성능 향상에 핵심적인 구성 요소임을 확인하였다.