[논문 리뷰] Low-Resource Named Entity Recognition with Cross-Lingual, Character-Level Neural Conditional Random Fields

Ryan Cotterell, Kevin Duh|arXiv (Cornell University)|2024. 04. 14.

Topic Modeling참고 문헌 25인용 수 65

한 줄 요약

이 논문은 관련 고자원 언어로부터 저자원 언어로 지식을 전달하는 NER용 크로스-링구얼 문자 기반 신경 CRF를 제시하여, 전이 설정에서 특히 baselines보다 F1 점수를 향상시킨다.

ABSTRACT

Low-resource named entity recognition is still an open problem in NLP. Most state-of-the-art systems require tens of thousands of annotated sentences in order to obtain high performance. However, for most of the world's languages, it is unfeasible to obtain such annotation. In this paper, we present a transfer learning scheme, whereby we train character-level neural CRFs to predict named entities for both high-resource languages and low resource languages jointly. Learning character representations for multiple related languages allows transfer among the languages, improving F1 by up to 9.8 points over a loglinear CRF baseline.

연구 동기 및 목표

• NER에서 대규모 데이터 요구의 문제점과 효과적인 저자원 방법의 필요성을 동기화한다.
• 관련 언어 간 전이를 가능하게 하는 공유 문자 수준 표현을 갖춘 크로스-링구얼 신경 CRF를 제안한다.
• 저자원 시나리오에서 성능 향상을 평가하기 위해 Pan et al. (2017)에서 15개 언어에 대한 전이 학습을 평가한다.

제안 방법

• NER를 위한 9개 엔티티 태그(b/i 각 유형과 o)로 구성된 CRF 기반 시퀀스 표기 모델을 정의한다.
• 로그-선형 특징 기반 CRF와 문자 수준 LSTM과 단어 임베딩을 사용하는 신경 CRF를 비교한다.
• 언어 간 문자 인코더를 묶고 언어별 단어 임베딩은 유지함으로써 크로스-링구얼 공유를 도입한다.
• 언어 ID 임베딩과 공유 전이를 통한 tanh 기반 인터랙션을 신경 포텐셜에서 도입한다.
• 대상 언어 데이터와 source 데이터의 가중 합을 포함하는 결합 목적 함수로 학습한다(mu가 전이 강도를 제어한다).
• Pan et al. (2017)의 15개 언어를 대상으로 평가하며, 전이 설정에서 100-shot 저자원과 10k 고자원을 사용한다.

Figure 1: Example of an English sentence annotated with its typed named entities.

실험 결과

연구 질문

• RQ1 문자 수준의 신경 CRF가 관련 언어 간 이름 엔터티 표현을 일반화할 수 있는가?
• RQ2 크로스-링구얼 전이가 저자원 환경에서 NER 성능을 향상시키는가, 그리고 이것이 단일 언어 기반 기준선과 비교하여 어떤 차이를 보이는가?
• RQ3 단일 소스 언어 대 다중 소스 언어의 전이 효과에 미치는 영향은 무엇인가?

주요 결과

• 고자원 단일 언어 설정에서 신경 CRF가 로그-선형 CRF보다 우수하다.
• 저자원 단일 언어 설정에서 로그-선형 CRF가 신경 CRF보다 우수하다.
• 크로스-링구얼 전이를 사용하면 신경 CRF가 로그-선형 기준선보다 F1을 향상시켜 언어 간 추상화가 더 잘 이뤄짐을 시사한다.
• 소스 언어(예: Spanish, Catalan, Italian)와의 전이가 저자원 대상에서 신경 CRF의 F1 향상을 크게 만든다.
• 고자원 대상 설정에서는 전이가 거의 또는 전혀 개선을 가져오지 않는다.
• 15개 언어에 걸친 전이 크로스-링구얼 신경 CRF는 고자원 성능으로의 격차를 좁히지만 여전히 개선 여지가 있다.