[논문 리뷰] Distant Supervision and Noisy Label Learning for Low Resource Named Entity Recognition: A Study on Hausa and Yor\\`ub\\'a

David Ifeoluwa Adelani, Michael A. Hedderich외 3명|arXiv (Cornell University)|2020. 03. 18.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 하우사어와 요르바어와 같은 자원이 부족한 아프리카 언어에서 저자원 명명된 실체 인식(NER)을 위한 원거리 지도 학습과 노이즈 처리 기법을 조사한다. 원거리 지도 학습을 통해 위키데이터의 엔티티 목록과 외부 이름 목록을 활용해 자동으로 레이블을 부여하고, 노이즈 정제 기법을 적용할 경우 모델 성능이 두 배 이상 향상되며, 일부는 순수하게 정제된 데이터로만 훈련된 모델보다도 뛰어난 성능을 보이지만, 맥락적 BERT 모델은 성능은 뛰어나지만 저자원 환경에서 노이즈가 많은 레이블에 매우 민감함을 입증한다.

ABSTRACT

The lack of labeled training data has limited the development of natural language processing tools, such as named entity recognition, for many languages spoken in developing countries. Techniques such as distant and weak supervision can be used to create labeled data in a (semi-) automatic way. Additionally, to alleviate some of the negative effects of the errors in automatic annotation, noise-handling methods can be integrated. Pretrained word embeddings are another key component of most neural named entity classifiers. With the advent of more complex contextual word embeddings, an interesting trade-off between model size and performance arises. While these techniques have been shown to work well in high-resource settings, we want to study how they perform in low-resource scenarios. In this work, we perform named entity recognition for Hausa and Yor\\`ub\\'a, two languages that are widely spoken in several developing countries. We evaluate different embedding approaches and show that distant supervision can be successfully leveraged in a realistic low-resource scenario where it can more than double a classifier's performance.

연구 동기 및 목표

• 하우사어와 요르바어의 저자원 NER에 대해 원거리 지도 학습과 노이즈 처리 기법의 효과성을 평가하는 것.
• 간단한 워드 임베딩과 맥락적 워드 임베딩을 사용할 때 저자원 환경에서 모델 크기와 성능 간의 상호 교환 관계를 조사하는 것.
• 황금 표준 훈련 데이터가 부족한 상황에서 원거리 지도 학습 데이터가 NER 성능을 향상시킬 수 있는지 평가하는 것.
• 자동으로 생성된 레이블의 노이즈가 모델의 일반화 능력과 성능에 미치는 영향을 분석하는 것.

제안 방법

• 위키데이터 엔티티 목록과 수동으로 정제한 요르바어 및 나이지리아인 이름 목록을 사용하여 원거리 지도 학습을 적용해 훈련 데이터를 자동으로 레이블링한다.
• 노이즈 처리 기법으로는 오류가 포함된 원거리 지도 학습 레이블의 영향을 줄이기 위해 노이즈 채널 모델과 혼동 행렬 아키텍처를 사용한다.
• 골드 표준 데이터와 원거리 지도 학습 데이터의 조합을 사용해 Bi-LSTM 및 BERT 아키텍처 기반의 신경망 NER 모델을 훈련한다.
• 성능에 미치는 영향을 평가하기 위해 단순(예: FastText)과 맥락적(예: BERT) 접근 방식 간의 워드 임베딩을 비교한다.
• 하우사어와 요르바어의 테스트 세트에서 F1 스코어를 사용해 성능을 평가하며, 데이터 양과 노이즈 처리에 대한 분석 실험을 실시한다.
• 실제 조건을 반영하기 위해 청소된 데이터의 양을 다양하게 조절(1,000자, 2,000자, 5,000자, 17,000자)하여 저자원 환경에서의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 원거리 지도 학습이 하우사어와 요르바어의 저자원 환경에서 NER 성능 향상에 효과적으로 기여할 수 있는가?
• RQ2 다양한 노이즈 처리 기법은 원거리 지도 학습 레이블의 오류가 초래하는 부정적 영향을 어떻게 완화하는가?
• RQ3 저자원 NER 환경에서 단순 워드 임베딩과 맥락적 워드 임베딩을 사용할 경우 모델 크기와 성능 간의 상호 교환 관계는 어떠한가?
• RQ4 황금 표준 데이터가 제한된 상황에서 원거리 지도 학습 데이터 통합이 성능 향상에 기여하는가?
• RQ5 BERT 모델은 레이블 노이즈에 매우 민감한데도 불구하고 원거리 지도 학습 데이터로부터 이점을 얻을 수 있는가?

주요 결과

• 하우사어의 경우, 노이즈 정제를 적용한 50%의 원거리 지도 학습 데이터를 사용할 경우, 전체 골드 표준 데이터 기반 성능과의 F1 스코어 격차를 절반으로 줄였다. 이는 노이즈 정제 기법의 효과성을 입증한다.
• 요르바어의 경우, 노이즈 정제를 적용한 원거리 지도 학습 데이터를 사용할 경우, 5,000개의 레이블 예제로 훈련했을 때 F1 스코어가 노이즈 정제 없이 48%에서 66%로 향상되었으며, 이는 17,000개의 골드 표준 토큰으로 훈련된 모델의 성능에 가까워졌다.
• 저자원 환경(1,000자 및 2,000자 레이블 예제)에서 원거리 지도 학습 데이터를 적용하면 Bi-LSTM 모델의 F1 스코어가 두 배 이상 향상되어 높은 데이터 효율성을 보였다.
• BERT 모델은 Bi-LSTM보다 높은 성능을 달성했지만, 레이블 예제가 1,000개 뿐인 경우 약 50%의 F1 스코어 감소를 겪어 노이즈 레이블에 과적합되는 경향을 보였다.
• 혼동 행렬 아키텍처를 통한 노이즈 정제가 노이즈 채널 방법보다 더 뛰어난 성능을 보였으며, 특히 데이터가 적은 환경에서 유의미하게 높은 성능을 보였다. 이는 노이즈에 강건한 아키텍처 설계의 중요성을 시사한다.
• 위키데이터 외에 나이지리아인 이름 목록을 추가함으로써 요르바어의 리콜이 13포인트 향상되었으며, 이는 저자원 환경에서 도메인 특화 이름 컬렉션의 가치를 입증한다.