[논문 리뷰] May I Check Again? -- A simple but efficient way to generate and use contextual dictionaries for Named Entity Recognition. Application to French Legal Texts

Valentin Barrière, Amaury Fouret|arXiv (Cornell University)|2019. 09. 08.

Natural Language Processing Techniques참고 문헌 22인용 수 6

한 줄 요약

이 논문은 Damerau-Levenshtein 거리와 가장 긴 공통 부분 수열(LCS) 거리를 사용하여 동적으로 문맥 기반 엔티티 사전을 생성하는 맥락 인식 방법인 MICA를 제안한다. 신경망 NER 모델의 최종 레이어에 유사도 기반 특징을 통합함으로써, 철자 오류에 대한 강건성을 향상시키고 F1 점수를 1.67%p 향상시켜 94.85%에서 96.52%로 개선하며, 상대적 재현율 오차를 40.9% 감소시킨다.

ABSTRACT

In this paper we present a new method to learn a model robust to typos for a Named Entity Recognition task. Our improvement over existing methods helps the model to take into account the context of the sentence inside a court decision in order to recognize an entity with a typo. We used state-of-the-art models and enriched the last layer of the neural network with high-level information linked with the potential of the word to be a certain type of entity. More precisely, we utilized the similarities between the word and the potential entity candidates in the tagged sentence context. The experiments on a dataset of French court decisions show a reduction of the relative F1-score error of 32%, upgrading the score obtained with the most competitive fine-tuned state-of-the-art system from 94.85% to 96.52%.

연구 동기 및 목표

• 철자 오류와 도메인 전용 언어로 인해 프랑스어 법적 텍스트에서 NER 성능이 낮은 문제를 해결한다.
• 법적 문서에서 철자 변형과 노이즈가 있는 입력에 대해 최신 NER 모델의 강건성을 향상시킨다.
• 세밀하게 조정된 언어 임베딩과 맥락 민감한 엔티티 후보 생성을 사용하여 도메인 적응형 NER 시스템을 개발한다.
• 정밀도를 희생시키지 않은 채 복구율을 향상시켜 탈식별 작업에서 거짓 음성(false negatives)을 최소화한다.
• 프랑스어 법적 텍스트 외의 다른 NER 설정에 적용 가능한 언어 및 도메인에 관계없이 일반화 가능한 방법을 만든다.

제안 방법

• FastText, 문자 수준 BiLM, 문자 수준 임베딩을 스택형으로 사용하여 기본 BLSTM-CRF NER 모델을 훈련한다.
• 각 문장에 대해 최적 크기 128인 맥락 윈도우를 추출하여 첫 번째 모델의 예측에서 잠재적인 명명된 엔티티를 수집한다.
• Damerau-Levenshtein 거리와 가장 긴 공통 부분 수열(LCS) 거리를 사용하여 각 단어와 후보 엔티티 간의 유사도 점수를 계산한다.
• 각 단어당 특정 엔티티 유형(PER, LOC 등)일 가능성을 나타내는 유사도 벡터를 생성한다.
• 이 유사도 벡터를 두 번째 NER 모델의 최종 레이어에 고수준 특징으로 통합하여 예측을 정밀하게 조정한다.
• 66만 건의 프랑스어 법적 텍스트 코퍼스에서 FastText와 BiLM 임베딩을 테이닝하여 도메인 적응을 향상시킨다.

실험 결과

연구 질문

• RQ1 맥락 인식 엔티티 후보 생성이 프랑스어 법적 텍스트에서 철자 오류에 대한 NER의 강건성을 향상시킬 수 있는가?
• RQ2 맥락 윈도우의 크기가 맥락 기반 사전 방법의 성능에 어떤 영향을 미치는가?
• RQ3 엔티티 후보에서 파생된 유사도 기반 특징이 NER의 정밀도와 재현율을 얼마나 향상시킬 수 있는가?
• RQ4 신경망 NER 모델의 최종 레이어에 고수준 맥락 특징을 통합하는 것이 표준 미세조정보다 우월한가?
• RQ5 이 방법은 프랑스어 법적 문서 외의 다른 도메인과 언어로 일반화될 수 있는가?

주요 결과

• MICA 방법은 최적의 미세조정 기준선 대비 상대적 F1 점수 오차를 32% 감소시켜 F1 점수를 94.85%에서 96.52%로 향상시켰다.
• 엔티티 후보 생성을 위한 최적의 맥락 윈도우 크기는 128 토큰이며, 이를 초과하면 정밀도가 감소하여 성능이 저하된다.
• 시스템은 기준선 대비 상대적 재현율 오차를 40.9% 감소시켜 탈식별의 완전성을 크게 향상시켰다.
• 사전 예측 결과를 기반으로 사전를 구성함에도 불구하고, 거짓 양성률이 안정적으로 유지되었다.
• 법적 텍스트에서 FastText와 BiLM 임베딩을 테이닝함으로써 모델 성능이 향상되어 도메인 적응 표현의 가치를 확인했다.
• 이 방법은 CRF 기반 NER 시스템에도 효과적이며, 딥러닝 기반 모델 외부의 모델과의 호환성도 입증했다.