[논문 리뷰] An Embarrassingly Easy but Strong Baseline for Nested Named Entity Recognition

Hang Yan, Yu Sun외 2명|arXiv (Cornell University)|2022. 08. 09.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 Biaffine 디코더가 생성한 스파닝 점수 행렬의 공간적 상관관계를 모델링하기 위해 컨volutional 신경망(CNNs)을 적용함으로써, 중첩된 명명된 실체 인식(nested NER)을 위한 단순하면서도 효과적인 베이스라인을 제안한다. 비록 간단한 방법이지만, ACE2004, ACE2005, Genia 세 가지 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 또는 경쟁 가능한 성능을 달성하며, 중첩된 실체에 대한 재현율(recall)을 크게 향상시켰다. 또한 향후 연구에서의 공정한 비교를 보장하기 위해 표준화된 전처리 스크립트도 함께 제공한다.

ABSTRACT

Named entity recognition (NER) is the task to detect and classify the entity spans in the text. When entity spans overlap between each other, this problem is named as nested NER. Span-based methods have been widely used to tackle the nested NER. Most of these methods will get a score $n imes n$ matrix, where $n$ means the length of sentence, and each entry corresponds to a span. However, previous work ignores spatial relations in the score matrix. In this paper, we propose using Convolutional Neural Network (CNN) to model these spatial relations in the score matrix. Despite being simple, experiments in three commonly used nested NER datasets show that our model surpasses several recently proposed methods with the same pre-trained encoders. Further analysis shows that using CNN can help the model find more nested entities. Besides, we found that different papers used different sentence tokenizations for the three nested NER datasets, which will influence the comparison. Thus, we release a pre-processing script to facilitate future comparison.

연구 동기 및 목표

• 기존의 스팬 기반 중첩 NER 방법들이 인접한 스팬 간의 공간적 상관관계를 忽略하는 한계를 해결하기 위해.
• 점수 행렬 내의 인접한 스팬 간의 국소적 상호작용을 명시적으로 모델링하여 중첩 NER 성능을 향상시키기 위해.
• 이전 연구들 간의 데이터셋 전처리, 특히 문장 토큰화에서의 일관성 없는 문제를 해결하여 성능 비교의 타당성을 확보하기 위해.
• 최근의 더 복잡한 모델들보다도 뛰어난 성능을 보이며, 복잡도가 최소화된 재현 가능한 강력한 베이스라인을 제공하기 위해.

제안 방법

• 모델은 각 스팬의 시작 및 종료 토큰을 기반으로 점수를 계산하기 위해 Biaffine 디코더를 사용한다.
• 이로 생성된 n×n 점수 행렬(문장 길이가 n일 때)은 특징 맵으로 간주되며, 2차원 컨volutional 신경망(CNN)에 입력되어 스팬 간의 국소적 공간적 의존성을 포착한다.
• CNN은 스팬 점수 행렬에 적용되어, 특히 계층적 또는 중첩된 관계를 가진 인접한 스팬 간의 상호작용을 모델링한다.
• 모델은 스팬 수준 분류에 대해 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 훈련되며, 추론은 임계값 설정 또는 비최대 억제(NMS)를 통해 수행된다.
• 저자는 ACE2004, ACE2005, Genia 데이터셋 간의 문장 토큰화를 표준화하기 위한 전처리 스크립트를 공개한다.
• 이전 연구들과 동일한 사전 학습된 BERT 기반 인코더를 사용하여 평가함으로써 공정한 비교를 보장한다.

실험 결과

연구 질문

• RQ1 스패닝 점수 행렬 내의 인접한 스팬 간의 공간적 상관관계를 모델링하면 중첩 NER 성능 향상에 기여하는가?
• RQ2 스패닝 점수 행렬에 단순한 CNN 기반 접근 방식이 최신의 더 복잡한 아키텍처보다 표준 중첩 NER 벤치마크에서 뛰어난 성능을 내는가?
• RQ3 데이터셋 간 문장 토큰화 방식의 차이가 중첩 NER의 성능 비교에 어느 정도 영향을 미치는가?
• RQ4 제안된 방법은 중첩 실체와 평탄한 실체의 탐지에 대해 각각 어떻게 향상시키는가?
• RQ5 표준화된 전처리 파이프라인은 중첩 NER 연구의 변동성 감소와 재현 가능성 향상에 기여하는가?

주요 결과

• 제안된 CNN 기반 방법은 ACE2004, ACE2005, Genia 데이터셋에서 SOTA 또는 경쟁 가능한 성능을 달성하며, 동일한 사전 학습된 인코더를 사용한 몇몇 최근 모델들을 능가한다.
• Genia 데이터셋에서 모델은 F1 점수 80.33 ± 0.13을 기록했으며, 동일한 데이터로 훈련된 베이스라인 W2NER(81.58 ± 0.61)와 Triaffine(81.23)를 모두 능가한다.
• CNN을 사용하지 않은 모델(w.o. CNN)은 모든 데이터셋에서 중첩 실체 재현율(NER)이 낮게 나타나, CNN이 중첩 실체 탐지에 기여함을 시사한다.
• ACE2004에서, CNN를 사용할 경우 중첩 실체 재현율은 w.o. CNN일 때 89.4 ± 0.8에서 88.4 ± 0.6으로 향상되어 최대 1.0점 향상되었다.
• 가장 두드러진 향상은 Genia 데이터셋에서 관찰되었으며, 중첩 실체 재현율이 72.7 ± 1.2에서 83.4 ± 1.6로 10.7점 향상되었다.
• 저자는 이전 연구들 간의 문장 토큰화 불일치가 성능 차이를 유발하며, 본 연구에서 제안한 전처리 스크립트가 이러한 문제를 해결함을 입증했다.