[논문 리뷰] DiffusionNER: Boundary Diffusion for Named Entity Recognition

Yongliang Shen, Kaitao Song외 4명|arXiv (Cornell University)|2023. 05. 22.

Topic Modeling인용 수 6

한 줄 요약

DiffusionNER는 노이즈가 있는 스파ن에 대한 경계 노이즈 제거 확산 과정으로서 Named Entity Recognition(NER)을 공식화하여, 새로운 생성적 접근 방식을 제안한다. 이는 노이즈가 있는 스팬을 점진적으로 정밀하게 수정하여 정확한 엔티티 경계를 얻는 역확산 모델을 학습함으로써, 순차적 생성 기반 모델에 비해 더 빠르고 동적이고 병렬적인 추론을 가능하게 하며, 평면형 및 네스티드 NER 벤치마크에서 최신 기술 수준 또는 경쟁력 있는 성능을 달성한다.

ABSTRACT

In this paper, we propose DiffusionNER, which formulates the named entity recognition task as a boundary-denoising diffusion process and thus generates named entities from noisy spans. During training, DiffusionNER gradually adds noises to the golden entity boundaries by a fixed forward diffusion process and learns a reverse diffusion process to recover the entity boundaries. In inference, DiffusionNER first randomly samples some noisy spans from a standard Gaussian distribution and then generates the named entities by denoising them with the learned reverse diffusion process. The proposed boundary-denoising diffusion process allows progressive refinement and dynamic sampling of entities, empowering DiffusionNER with efficient and flexible entity generation capability. Experiments on multiple flat and nested NER datasets demonstrate that DiffusionNER achieves comparable or even better performance than previous state-of-the-art models.

연구 동기 및 목표

• 순차적 생성 기반 NER 모델의 비효율성과 노출 오차를 해결하기 위해 비순차적, 확산 기반의 대안을 도입하기 위해.
• 이미지 및 오디오 생성에 사용된 바 있는 확산 모델을 이산 텍스트 시퀀스에 적용하여 추출적 NLP 작업, 예를 들어 NER에 응용해 볼 수 있는지 탐색하기 위해.
• 학습 시 제약 조건에서 노이즈가 있는 스팬의 수를 분리함으로써 동적이고 융통성 있는 실체 생성을 가능하게 하기 위해.
• 반복적인 노이즈 제거를 통해 실체 경계를 정교화함으로써 평면형 및 네스티드 실체 인식 모두에서 정밀도를 향상시키기 위해.

제안 방법

• 엔티티 경계가 고정된 전방 과정에서 고정된 가우시안 노이즈로 점차 손상되는 방식으로 NER를 경계 노이즈 제거 확산 과정으로 공식화한다.
• 학습 중에 노이즈가 있는 스팬을 점진적으로 정밀하게 수정하여 정답 경계를 복원하는 노이즈 제거 네트워크를 사용하여 역확산 과정을 학습한다.
• 추론 중에는 표준 가우시안 사전 분포에서 노이즈가 있는 스팬을 샘플링하고, 학습된 역확산 과정을 통해 병렬적으로 실체를 생성한다.
• 모든 타임스텝에 공통된 트랜스포머 인코더를 사용하여 추론 효율성을 향상시키며, 테스트 시 다양한 수의 노이즈가 있는 스팬을 동적으로 샘플링할 수 있도록 지원한다.
• 노이즈가 있는 스팬 간의 상호작용을 모델링하고 경계 예측 성능을 향상시키기 위해 노이즈가 있는 스팬 간의 자기어텐션과 입력 문장에 대한 크로스어텐션을 모두 활용하는 스팬 인코더를 사용한다.
• 노이즈 강도를 타임스텝에 따라 조절하기 위해 분산 스케줄러(Cosine 또는 Linear)를 적용하며, 각 데이터셋에 최적의 성능을 내기 위해 초모델을 튜닝한다.

실험 결과

연구 질문

• RQ1 이산 텍스트 시퀀스에 대해 추출적 NLP 작업, 예를 들어 명명된 실체 인식에 대해 확산 모델을 효과적으로 적용할 수 있는가?
• RQ2 순차적 생성 방식에 비해 경계 노이즈 제거 확산 과정이 실체 경계 정교화와 일반화 능력 향상에 기여하는가?
• RQ3 DiffusionNER는 비순차적 추론을 통해 더 빠르고 경쟁력 있는 성능를 달성하면서도 실체 스팬의 동적 샘플링을 지원할 수 있는가?
• RQ4 모델 성능가 아키텍처 선택, 예를 들어 사전 학습된 언어 모델, 어텐션 메커니즘, 분산 스케줄러 등에 얼마나 민감한가?

주요 결과

• DiffusionNER는 RoBERTa-Large를 사용하여 ACE04에서 88.99 F1, CoNLL03에서 92.89 F1를 기록하며 여섯 개인 평면형 및 네스티드 NER 데이터셋에서 최신 기술 수준 또는 경쟁력 있는 성능를 달성한다.
• 학습 시 사용된 노이즈가 있는 스팬의 수에 대해 매우 강건한 성능를 보이며, K=60, 120, 150일 때도 안정적인 성능를 유지하여 전개 전략에 대한 민감성이 낮음을 시사한다.
• 무작위 전개 전략이 반복 전개 전략을 능가하며, K=120일 때 ACE04에서 88.53 F1, CoNLL03에서 92.79 F1의 성능를 기록한다.
• ACE04에서는 코스인 분산 스케줄러가 가장 우수한 성능를 보이며, T=1000일 때 88.39 F1를 기록한다. 반면 CoNLL03에서는 선형 스케줄러가 가장 우수한 성능를 보이며, T=1500일 때 92.87 F1를 기록한다.
• 제거 실험 결과, 스팬 간 자기어텐션과 입력 문장에 대한 크로스어텐션 모두가 필수적임을 확인하였으며, 각각 제거 시 성능가 각각 1.37%와 1.15% 감소한다.
• 공통된 인코더를 타임스텝 전역에 사용함으로써 효율성을 향상시키고, 병렬 생성 및 동적 샘플링 덕분에 순차적 방법에 비해 더 빠르고 융통성 있는 추론 성능를 보인다.