[논문 리뷰] MFE-NER: Multi-feature Fusion Embedding for Chinese Named Entity Recognition

Jiatong Li, Kui Meng|arXiv (Cornell University)|2021. 09. 16.

Topic Modeling참고 문헌 14인용 수 10

한 줄 요약

이 논문은 중국어 명명된 실체 인식(NER)을 위한 다중 특징 융합 임bedding 방법인 MFE-NER를 제안한다. 이 방법은 의미, 문자 구조, 발음 특징을 융합하여 문자 치환 문제를 해결한다. '오점법'을 활용해 구조적 인코딩을 하고, 신규로 개발한 'Trans-pinyin' 시스템을 통해 발음 유사성을 계산함으로써 MFE-NER는 특히 비공식적이고 치환된 언어 환경에서의 NER 성능을 향상시킨다. 다섯 개의 벤치마크 데이터셋에서 표준 사전학습된 모델들을 능가한다.

ABSTRACT

In Chinese Named Entity Recognition, character substitution is a complicated linguistic phenomenon. Some Chinese characters are quite similar as they share the same components or have similar pronunciations. People replace characters in a named entity with similar characters to generate a new collocation but referring to the same object. As a result, it always leads to unrecognizable or mislabeling errors in the NER task. In this paper, we propose a lightweight method, MFE-NER, which fuses glyph and phonetic features, to help pre-trained language models handle the character substitution problem in the NER task with limited extra cost. Basically, in the glyph domain, we disassemble Chinese characters into Five-Stroke components to represent structure features. In the phonetic domain, an improved phonetic system is proposed in our work, making it reasonable to describe phonetic similarity among Chinese characters. Experiments demonstrate that our method performs especially well in detecting character substitutions while slightly improving the overall performance of Chinese NER.

연구 동기 및 목표

• 유사하게 보이거나 들리는 문자들이 치환되어 감지나 스타일 효과를 피하기 위해 사용되는 중국어 명명된 실체 인식(NER)에서의 문자 치환 문제를 해결하기 위해.
• 소셜 미디어와 같이 문자 치환이 흔한 비공식적이고 동적인 언어 환경에서 사전학습된 언어 모델의 강인성을 향상시키기 위해.
• 의미 외의 언어적 특징—문자 구조와 발음—을 신경 기반 NER 모델에 통합하여 일반화 능력을 향상시키고 오류를 줄이기 위해.
• 의미 임베딩을 초월해 구조적 및 발음 유사성을 포괄하는 경량화되고 해석 가능하며 확장 가능한 중국어 문자 표현 방법을 개발하기 위해.

제안 방법

• MFE-NER는 세 가지 유형의 임베딩을 융합한다: 의미(사전학습된 BERT 유사 모델에서 유도), 문자 구조('오점법'을 활용해 문자 성분을 인코딩), 발음('국제음소기호' 기반의 새로운 'Trans-pinyin' 시스템을 통해).
• '오점법'은 중국어 문자를 스트로크 기반 성분으로 분해하여 구조적 유사성을 인코딩함으로써 유사하게 보이는 문자들이 가까운 벡터 표현을 갖도록 한다.
• 'Trans-pinyin' 시스템은 중국어 문자를 표준화된 발음 기호로 매핑하여 문자 간의 발음 유사성을 의미 있는 방식으로 계산할 수 있도록 한다.
• 특징 융합은 다중 LSTMs를 사용한 후행적 상호작용 전략을 통해 수행되며, 각 모odal은 별도로 처리된 후 예측값을 평균화함으로써 특징 혼합을 방지하고 과적합을 줄인다.
• 모델은 원본 및 치환된 명명된 실체 쌍을 포함하는 데이터셋에서 미세조정되며, 대조적 학습을 모방하여 치환 패tern에 대한 민감도를 향상시킨다.
• 선형층을 사용해 세 가지 모odal 전용 LSTMs의 출력을 조합함으로써 엔드 투 엔드 학습을 가능하게 하면서도 특징 독립성을 유지한다.

실험 결과

연구 질문

• RQ1 문자 구조와 발음 특징의 융합이 문자 치환 상황에서 사전학습된 언어 모델의 중국어 명명된 실체 인식 성능을 향상시키는 데 효과적인가?
• RQ2 '오점법' 인코딩 방법이 기존의 '사각법'과 비교해 중국어 문자 간의 구조적 유사성을 얼마나 잘 포착하는가?
• RQ3 표준화된 발음 체계인 'Trans-pinyin'가 중국어 NER에서 발음 기반 치환을 모델링하는 데 얼마나 효과적인가?
• RQ4 의미, 문자 구조, 발음 특징의 다중 모odal 융합이 의미 전용 모델보다 비공식적이고 동적인 언어 데이터에서 더 높은 성능을 내는가?

주요 결과

• MFE-NER는 다섯 개의 벤치마크 데이터셋에서 기준 모델 대비 일관된 성능 향상을 보이며 전체 NER 성능을 크게 향상시킨다.
• 문자 치환이 흔한 비공식적 언어 환경에서 뛰어난 성능을 보이며, 언어적 다양성에 대한 강인성이 향상됨을 시사한다.
• 각 특징 모달에 대해 별도의 LSTMs를 사용한 후 예측값을 평균화하는 방식이 선형층을 통한 조기 융합보다 더 좋은 일반화 성능을 보이며 과적합을 줄인다.
• '오점법' 인코딩 방법은 기존의 코드 체계에 비해 더 표현력 있고 확장 가능한 대안을 제공하며, 이미지 기반 표현보다 낮은 공간 복잡도를 가진다.
• 'Trans-pinyin' 시스템은 정확한 발음 유사성 계산을 가능하게 하여 기존의 발음 임베딩보다 발음 기반 치환을 더 잘 포착한다.
• 원본-치환 쌍을 활용한 대조적 학습을 통해 치환된 명명된 실체를 더 잘 인식할 수 있도록 모델 성능이 향상되었으며, 이는 언어적 다양성을 다루는 데 다중 특징 융합의 가치를 입증한다.