[논문 리뷰] A Feature-Based Model for Nested Named-Entity Recognition at VLSP-2018 NER Evaluation Campaign

Phạm Quang Minh|arXiv (Cornell University)|2018. 03. 22.

Topic Modeling참고 문헌 8인용 수 6

한 줄 요약

이 논문은 베트남어 텍스트에서 중첩된 명명된 엔티티 인식을 위한 특징 기반 조건부 랜덤 필드(CRF) 모델을 제안한다. 이 모델은 단어, 형태, 브라운 클러스터, 단어 임베딩 특징을 통합하여 사용한다. 주요 기여는 복합 BIO 태그를 사용해 모든 엔티티 레벨을 동시에 모델링하는 방식(joint-tag 모델)이 별도의 모델보다 인식 정확도를 크게 향상시킨다는 것을 입증한 것이다. 이 모델은 VLSP 2018 테스트 세트에서 F1 점수 73.48을 기록하였다.

ABSTRACT

In this report, we describe our participant named-entity recognition system at VLSP 2018 evaluation campaign. We formalized the task as a sequence labeling problem using BIO encoding scheme. We applied a feature-based model which combines word, word-shape features, Brown-cluster-based features, and word-embedding-based features. We compare several methods to deal with nested entities in the dataset. We showed that combining tags of entities at all levels for training a sequence labeling model (joint-tag model) improved the accuracy of nested named-entity recognition.

연구 동기 및 목표

• 베트남어 텍스트에서 엔티티가 다중 레벨로 중첩되어 존재하는 문제를 다루기 위해.
• 각 레벨별 별도 모델과 통합 모델 전략을 비교하여 중첩 NER 성능에 미치는 영향을 평가하기 위해.
• 단어 정체성, 형태, 브라운 클러스터, 단어 임베딩 등 다양한 특징을 통합하여 인식 정확도를 향상시키기 위해.
• 문장 분할과 같은 전처리 선택 사항이 모델 성능에 미치는 영향을 평가하기 위해.
• 구조화되고 특징이 풍부한 CRF 접근 방식을 통해 베트남어 중첩 NER에 대한 강력한 베이스라인을 제공하기 위해.

제안 방법

• NER 작업은 BIO 태깅 체계를 사용한 시퀀스 레이블링 문제로 정식화되며, 모든 레벨의 엔티티 레이블을 조합하여 복합 태그를 생성한다(예: B-PER+I-ORG).
• 현재 토큰을 중심으로 5단어 윈도우 내에서 유니그램 및 바이그램 특징을 사용하여 CRF 모델을 훈련한다.
• 단어 정체성 특징은 표면 형태, 소문자 형태, 접두사/접미사(길이 1~4)를 포함한다.
• 단어 형태 특징은 희귀 또는 미등장 단어에 대한 일반화 성능을 향상시키기 위해 표준 기반 패턴 기반 방식을 사용한다.
• 브라운 클러스터링을 통해 의미적으로 유사한 단어를 군집화하고, 비트 스트링 표현을 특징으로 사용한다.
• 단어 임베딩과 사전 학습된 단어 클러스터를 통합하여 OOV 및 희귀 단어의 표현 학습을 강화한다.

실험 결과

연구 질문

• RQ1 모든 중첩 엔티티 레벨을 복합 BIO 태그로 통합 모델링하는 방식이 각 레벨별 별도 모델을 훈련하는 것보다 NER 성능을 향상시키는가?
• RQ2 단어 정체성, 형태, 브라운 클러스터, 단어 임베딩 등의 다양한 특징 유형이 베트남어 중첩 NER 정확도에 기여하는 정도는 어떠한가?
• RQ3 문장 분할 전처리가 중첩 NER 설정에서 모델 성능에 미치는 영향은 무엇인가?
• RQ4 통합 모델과 별도 모델을 조합한 하이브리드 접근 방식이 순수 통합 또는 별도 모델링보다 성능이 뛰어나게 되는가?
• RQ5 중첩 NER 설정에서 각 엔티티 유형(PER, LOC, ORG, MISC) 간 인식 성능는 어떻게 다름이 있는가?

주요 결과

• 통합 태그 모델은 공식 테스트 세트에서 가장 높은 F1 점수 73.48을 기록하여 별도 모델 및 하이브리드 모델을 모두 앞섰다.
• 통합 모델은 정밀도는 약간 낮지만, 레벨-2 엔티티의 재현율이 별도 모델보다 향상되어 중첩 구조의 보다 포괄적인 커버리지가 가능함을 시사한다.
• 가장 성능이 뛰어난 런(런-6)은 문장 분할 없이 별도 모델을 사용하여 레벨-1 F1을 76.63%로 기록했지만, 통합 모델은 전체적으로 더 높은 성능를 기록했다.
• 통합 모델은 레벨-2 F1 58.12%(런-3)를 기록하여 해당 엔티티 레벨에서 제출된 모든 런 중에서 가장 높은 성능를 기록했다.
• 문장 분할 여부에 따른 모델 성능의 차이는 미미하여, 이 모델이 시퀀스 길이 변화에 대해 높은 내성성을 지닌 것으로 나타났다.
• 테스트 세트에서 전체 F1 점수는 73.48을 기록했으며, PER(F1=79.49)와 LOC(F1=79.45)에서는 높은 성능를 보였지만, ORG(F1=63.33)와 MISC(F1=33.64)에서는 낮은 성능를 보였다.