[논문 리뷰] Enhancing Label Consistency on Document-level Named Entity Recognition

Minbyul Jeong, Jaewoo Kang|arXiv (Cornell University)|2022. 10. 24.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 표면적 표현(예: 형용사, 전치사)의 레이블 일관성을 향상시키기 위해 레이블 정제와 표현 추출을 통해 수정함으로써 문서 수준의 생물의학적 명명된 엔터티 인식(NER)에서 레이블 일관성을 향상시키는 ConNER를 제안한다. 주 분류 헤드를 수정하지 않고 표면적 표현의 레이블 종속성을 향상시킴으로써, 낮은 일관성 데이터셋에서 7.5–8.6%의 절대 F1 점수 향상을 달성한다.

ABSTRACT

Named entity recognition (NER) is a fundamental part of extracting information from documents in biomedical applications. A notable advantage of NER is its consistency in extracting biomedical entities in a document context. Although existing document NER models show consistent predictions, they still do not meet our expectations. We investigated whether the adjectives and prepositions within an entity cause a low label consistency, which results in inconsistent predictions. In this paper, we present our method, ConNER, which enhances the label dependency of modifiers (e.g., adjectives and prepositions) to achieve higher label agreement. ConNER refines the draft labels of the modifiers to improve the output representations of biomedical entities. The effectiveness of our method is demonstrated on four popular biomedical NER datasets; in particular, its efficacy is proved on two datasets with 7.5-8.6% absolute improvements in the F1 score. We interpret that our ConNER method is effective on datasets that have intrinsically low label consistency. In the qualitative analysis, we demonstrate how our approach makes the NER model generate consistent predictions. Our code and resources are available at https://github.com/dmis-lab/ConNER/.

연구 동기 및 목표

• 문서 수준 NER 모델에서 발생하는 일관성 없는 예측, 특히 형용사나 전치사와 같은 표면적 표현에서 낮은 레이블 일관성을 해결하기 위해.
• 생물의학적 엔터티 내 표면적 표현의 레이블 종속성을 향상시켜 전체 예측 일관성을 개선하기 위해.
• 주 분류 헤드를 수정하지 않고도 표면적 표현의 레이블 표현을 강화하는 방법을 개발하기 위해.
• 저자원 및 낮은 일관성의 생물의학적 NER 벤치마크에서 방법을 평가하여 다양한 데이터셋에서의 강인성을 입증하기 위해.

제안 방법

• ConNER는 문맥 기반 표현을 기반으로 표면적 표현 토큰(예: 'primary', 'hereditary')의 초안 예측을 수정하는 레이블 정제 과정을 적용한다.
• 모델이 일관된 레이블 표현을 학습하도록 유도하기 위해 정제된 레이블과 예측을 정렬하는 데 사용되는 정제 손실($L_{distill}$)을 도입한다.
• 학습 및 테스트 세트에서의 토큰 수준 레이블 일치도를 측정하는 일관성 점수($\phi_{tCon}$)를 사용하여, 낮은 일관성의 토큰에 대해 정제를 유도한다.
• 백본으로 사전학습된 생물의학적 언어 모델(BioBERT, BioLM)을 활용하고, 주 분류 성능을 유지하기 위해 정제를 표면적 표현 토큰에만 적용한다.
• 하이퍼파rameter $\Gamma$를 사용해 학습 중 정제 강도를 제어하며, $\Gamma=0.3$일 때 다양한 데이터셋에서 안정적인 성능을 보여준다.
• 기존 문서 NER 프레임워크와의 호환성을 위해 주 분류 레이어를 수정하지 않는 플러그 앤 플레이 방식으로 설계되어 있다.

실험 결과

연구 질문

• RQ1 문서 수준 NER 모델에서 일관성 없는 예측이 발생하는 원인은 무엇인가, 특히 형용사나 전치사와 같은 표면적 표현에서 나타나는가?
• RQ2 표면적 표현의 레이블 종속성을 향상시키면 생물의학적 NER에서 전체 레이블 일관성과 F1 성능에 얼마나 기여하는가?
• RQ3 제안된 레이블 정제 및 정제 손실 메커니즘이 낮은 일관성 데이터셋에서 예측 일관성에 어떤 영향을 미치는가?
• RQ4 ConNER는 밀도 외 토큰과 낮은 레이블 일치도를 보이는 서브토큰으로 일반화 가능한가?
• RQ5 하이퍼파rameter $\Gamma$는 레이블 정제 과정의 안정성과 성능에 어떤 영향을 미치는가?

주요 결과

• ConNER는 낮은 일관성의 생물의학적 NER 데이터셋 두 개(NCBI-disease 및 Gellus)에서 7.5–8.6%의 절대 F1 점수 향상을 달성하여, 내재된 레이블 불일치가 있는 데이터셋에서 강력한 효과를 보였다.
• NCBI-disease 데이터셋에서 'primary' 토큰의 일관성 점수($\phi_{tCon}$)가 BioLM의 0%에서 테스트 세트에서 100%로 상승하여, 일관성 없는 예측을 효과적으로 수정함을 보였다.
• 'surgical' 토큰의 경우, 학습 시 92.3%의 일관성 점수를 기록했지만, ConNER는 예측에서 높은 일관성을 유지하여 빈도가 높은 표면적 표현의 레이블 종속성을 유지할 수 있음을 확인했다.
• 다섯 개의 랜덤 시드에서 안정적인 성능을 기록했으며, $\Gamma=0.3$일 때 모든 벤치마크에서 일관된 성능 향상을 보여 초기화에 대한 강인성을 입증했다.
• ConNER는 'rectal carcinoma'를 일관된 엔터티로 예측하는 데 성공했고, 기준 모델은 한 번은 엔터티로, 다른 한 번은 비엔터티로 'rectal'을 일관성 없게 레이블링했다.
• 개선에도 불구하고, ConNER는 'mesorectum'이나 'margin'과 같은 밀도 외 토큰과 일관성 점수가 낮은 서브토큰('lymph', 0.62)에서 어려움을 겪어 희귀하거나 일관성 없는 서브토큰으로의 일반화에 한계를 보였다.