[논문 리뷰] Distant Supervision and Noisy Label Learning for Low Resource Named Entity Recognition: A Study on Hausa and Yorùbá

David Ifeoluwa Adelani, Michael A. Hedderich외 3명|arXiv (Cornell University)|2020. 03. 18.

Topic Modeling참고 문헌 39인용 수 4

한 줄 요약

이 논문은 하우사어와 요르وبا어와 같은 자원이 부족한 아프리카 언어에서 저자원 Named Entity Recognition (NER)를 위한 원격 지도 학습과 노이즈 처리 기법을 조사한다. 위키데이터에서 유도된 원격 지도 레이블과 외부 이름 목록을 결합하고 노이즈 보정 기법을 적용함으로써, 저자원 환경에서 모델 성능을 두 배 이상 향상시킬 수 있음을 입증한다. Bi-LSTM 모델은 원격 지도 학습과 노이즈 처리를 병행할 경우, 레이블 토큰 1,000개만으로도 요르وبا어에서 최대 F1 점수 66을 기록한다.

ABSTRACT

The lack of labeled training data has limited the development of natural language processing tools, such as named entity recognition, for many languages spoken in developing countries. Techniques such as distant and weak supervision can be used to create labeled data in a (semi-) automatic way. Additionally, to alleviate some of the negative effects of the errors in automatic annotation, noise-handling methods can be integrated. Pretrained word embeddings are another key component of most neural named entity classifiers. With the advent of more complex contextual word embeddings, an interesting trade-off between model size and performance arises. While these techniques have been shown to work well in high-resource settings, we want to study how they perform in low-resource scenarios. In this work, we perform named entity recognition for Hausa and Yorùbá, two languages that are widely spoken in several developing countries. We evaluate different embedding approaches and show that distant supervision can be successfully leveraged in a realistic low-resource scenario where it can more than double a classifier's performance.

연구 동기 및 목표

• 하우사어와 요르وبا어와 같은 저자원 아프리카 언어에서 원격 지도 학습과 노이즈 처리 기법의 효과성을 평가하는 것.
• 간단한 워드 임베딩(예: Bi-LSTM)과 문맥 기반 워드 임베딩(예: BERT)을 비교할 때, 저자원 환경에서 모델 크기와 성능 간의 상호 상관 관계를 조사하는 것.
• 황금 표준 레이블 데이터가 부족한 상황에서 원격 지도 학습 데이터가 모델 성능을 크게 향상시킬 수 있는지 평가하는 것.
• 외부 지식 소스(예: 위키데이터, 요르وبا어 및 나이지리아 인명 목록 등)의 통합이 NER 성능에 미치는 영향을 분석하는 것.

제안 방법

• 원격 지도 학습은 텍스트와 위키데이터 간의 실체 매칭 및 수동으로 정제한 요르وبا어 인명 목록과 룰 기반 매칭을 통해 적용된다.
• 원격 지도 레이블의 오류를 완화하기 위해 노이즈 처리 기법이 적용되며, 이는 노이즈 채널 및 혼동 행렬 아키텍처를 포함한다.
• 두 가지 모델 아키텍처를 비교한다: 단순 워드 임베딩을 사용하는 Bi-LSTM와 문맥 기반 임베딩을 사용하는 BERT 모델.
• 황금 표준 레이블 데이터의 양을 다양하게 설정(1,000, 2,000, 5,000, 17,000 토큰)하여 저자원 확장성 평가를 수행한다.
• 위키데이터 및 도메인 전용 이름 목록과 같은 외부 지식 소스를 활용해 약한 레이블이 부여된 훈련 데이터를 생성한다.
• 하우사어와 요르وبا어의 테스트 세트에서 정밀도, 재현도, F1 점수 등의 표준 NER 지표를 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 원격 지도 학습이 하우사어와 요르وبا어의 저자원 환경에서 NER 성능 향상에 효과적으로 기여할 수 있는가?
• RQ2 노이즈 처리 기법(예: 노이즈 채널, 혼동 행렬)이 원격 지도 레이블의 오류 영향을 어떻게 완화하는가?
• RQ3 저자원 NER 환경에서 단순 Bi-LSTM 모델과 대규모 문맥 기반 BERT 모델을 사용할 경우, 모델 크기와 성능 간의 상호 상관 관계는 어떠한가?
• RQ4 위키데이터 및 수동으로 정제한 이름 목록과 같은 외부 지식 소스가 원격 지도 레이블 데이터의 커버리지와 품질에 얼마나 기여하는가?
• RQ5 황금 표준 데이터가 충분한 경우, 특히 BERT와 같은 복잡한 모델에서는 원격 지도 학습 데이터 통합이 성능 저하를 초래하는가?

주요 결과

• 위키데이터와 외부 이름 목록을 활용한 원격 지도 학습은 저자원 환경에서 NER 성능을 두 배 이상 향상시키며, 레이블 토큰 1,000개만으로도 요르وبا어에서 F1 점수를 약 30에서 약 66으로 상승시킨다.
• 나이지리아 인명 목록 통합은 위키데이터만 사용할 경우 대비 재현도를 13점 향상시켜 인명 커버리지에 크게 기여한다.
• 혼동 행렬 아키텍처와 같은 노이즈 처리 기법은 특히 저자료 환경에서 성능 향상을 이끌어내지만, 노이즈 채널은 제한된 성과를 보였다.
• 원격 지도 학습 데이터와 노이즈 처리를 병행한 Bi-LSTM 모델은 레이블 토큰 1,000개만으로도 요르وبا어에서 F1 점수 66을 기록하며, 황금 표준 데이터 17,000개로 훈련된 모델의 성능에 근접한다.
• 크기가 더 큰 BERT는 원격 지도 학습에서 노이즈 레이블에 과적합되는 경향이 있어 저자원 환경에서 성능이 열등하며, 특히 레이블 토큰 1,000개로 훈련할 경우 두드러진다.
• 모델 크기와 성능 간의 상호 상관 관계는 명확하다: BERT(1,100만 파라미터)는 고자원 환경에서는 Bi-LSTM(150만 파라미터)를 능가하지만, 저자원 환경에서는 더 작은 Bi-LSTM 모델이 원격 지도 학습 데이터로부터 더 큰 이점을 얻는다.