[논문 리뷰] Low-Resource Name Tagging Learned with Weakly Labeled Data

Yixin Cao, Zikun Hu외 3명|arXiv (Cornell University)|2019. 08. 26.

Topic Modeling참고 문헌 40인용 수 4

한 줄 요약

이 논문은 고도로 정제된 애너테이션 또는 외부 지식이 필요 없이 약한 레이블(weakly labeled, WL) 데이터를 활용하는 이중 모듈 신경망 모델을 제안한다. WL 문장을 노이즈가 많은 부분과 고품질 부분으로 분할하여, 노이즈가 많은 데이터에 대해 효율적인 사전 훈련을 위한 분류 헤드를, 고품질 데이터에 대해 부분-CRF 기반의 시퀀스 태깅 헤드와 비엔티티 샘플링을 적용하여 최적의 태깅 성능을 달성한다. 이로써 저자원 언어에서 기준 모델 대비 평균 F1 점수를 6% 향상시키고, 세분화된 식재료 도메인에서는 7.8% 향상시켰다.

ABSTRACT

Name tagging in low-resource languages or domains suffers from inadequate training data. Existing work heavily relies on additional information, while leaving those noisy annotations unexplored that extensively exist on the web. In this paper, we propose a novel neural model for name tagging solely based on weakly labeled (WL) data, so that it can be applied in any low-resource settings. To take the best advantage of all WL sentences, we split them into high-quality and noisy portions for two modules, respectively: (1) a classification module focusing on the large portion of noisy data can efficiently and robustly pretrain the tag classifier by capturing textual context semantics; and (2) a costly sequence labeling module focusing on high-quality data utilizes Partial-CRFs with non-entity sampling to achieve global optimum. Two modules are combined via shared parameters. Extensive experiments involving five low-resource languages and fine-grained food domain demonstrate our superior performance (6% and 7.8% F1 gains on average) as well as efficiency.

연구 동기 및 목표

• 훈련 데이터가 부족하거나 가용하지 않은 저자원 이름 태깅 문제를 해결한다.
• 웹 소스(예: 위키백과 앵커)에서 유래한 방대한 약한 레이블(부분적으로 애너테이션된) 데이터를 활용한다. 이러한 데이터는 일반적으로 노이즈와 불완전성으로 인해 기각되지만, 본 연구에서는 이를 효과적으로 활용한다.
• 외부 지식이나 특징 공학 없이도 노이즈가 많은 데이터와 고품질 데이터를 효과적으로 활용할 수 있는 통합형 엔드 투 엔드 훈련 가능한 모델을 개발한다.
• 고도로 정제된 애너테이션 없이도 약한 지도 학습만으로도 저자원 언어 및 저자원 도메인(예: 식재료 전용 엔티티)에서 최신 기술 수준의 성능을 달성한다.
• 공유 파rameter를 통해 분류 및 시퀀스 모델링의 훈련 목표를 분리함으로써 계산 효율성과 강인성을 확보한다.

제안 방법

• 위키백과 앵커에서 자동으로 약한 레이블(WL) 데이터를 구성한다. 이 경우 일부 엔티티만 레이블이 지정되어 있고, 나머지는 미레이블 상태이다.
• 애너테이션 신뢰도와 언급 커버리지 기반으로 점수 기반 경량 전략을 적용하여 WL 문장을 고품질 및 노이즈가 많은 부분으로 분류한다.
• 노이즈가 많은 부분에 대해 레이블이 지정된 단어들만 사용하여 분류 모듈을 훈련함으로써, 분류기의 사전 훈련을 수행한다. 이 과정은 비레이블 단어의 영향을 피하고 맥락적 의미를 중시한다.
• 고품질 데이터에 대해 부분-CRF 기반의 시퀀스 태깅 모듈을 훈련하며, 비엔티티 샘플링을 통해 모든 가능한 레이블 시퀀스를 모델링하고 전역 최적화를 달성한다.
• 공유 파rameter를 통해 두 모듈을 통합함으로써 분류 및 시퀀스 모델링 간 지식 전이를 가능하게 하면서도 효율성을 유지한다.
• 비엔티티 샘플링 전략을 도입하여 언어적 특징(예: 어간 빈도, 엔티티 근처 위치 등)을 기반으로 비레이블 단어에 O(비엔티티) 레이블을 할당함으로써 강인성과 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 약한 레이블 데이터만을 사용하여 고도로 정제된 애너테이션 또는 외부 지식 없이도 저자원 환경에서 강력한 이름 태깅 성능을 달성할 수 있는가?
• RQ2 노이즈가 많고 불완전한 약한 레이블 문장을 효과적으로 분리하고 통합된 훈련 프레임워크 내에서 활용할 수 있는가?
• RQ3 고품질 데이터에 대해 계산 비용이 높은 시퀀스 태깅 모듈과 노이즈가 많은 데이터에 대해 경량 분류 모듈 간의 최적의 균형은 무엇인가?
• RQ4 부분-CRF 내 비엔티티 샘플링이 모델 성능에 미치는 영향은 무엇이며, 어떤 특징가 가장 효과적인 샘플링을 이끌어내는가?
• RQ5 분류 및 시퀀스 태깅 모듈 간 공유 파rameter가 저자원 이름 태깅에서 일반화 능력과 효율성을 얼마나 향상시키는가?

주요 결과

• 제안된 모델은 다섯 가지 저자원 언어에서 기준 모델 대비 평균 F1 점수를 6% 향상시키며, 다양한 언어 환경에서 강력한 일반화 능력을 입증한다.
• 10종의 엔티티 타입을 포함하는 세분화된 식재료 도메인에서, 최신 기술 수준의 방법 대비 평균 F1 점수를 7.8% 향상시키며, 모든 엔티티 타입에서 모든 기준 모델을 능가한다.
• 모델은 강인성과 효율성을 유지하며, 고품질 데이터 기준 임계값 $\theta_n$을 0.1로 설정했을 때 훈련 시간이 90분에서 20분으로 감소했으며, 성능은 안정적으로 유지된다.
• 비엔티티 샘플링 비율 $\alpha = 0.9$ 시 F1 점수가 최고로 나타나, 비레이블 단어를 O로 모델링함으로써 재현율을 향상시키면서 정밀도를 유지함을 시사한다.
• 비엔티티 샘플링 성능에 가장 기여하는 특징은 '엔티티 내 존재 여부'($f_2$)이며, 어간 빈도($f_3$)와 조합하면 성능이 더욱 향상된다. 반면, 거리 특징($f_1$)은 다른 특징과 함께 사용할 경우 성능을 저하시킨다.
• $\theta_n = 0$일 경우 모델은 시퀀스 전용 모델로 변환되며, $\theta_n = 0.1$일 때보다 성능이 열 劣함을 입증함으로써, 노이즈가 많은 데이터에서 분류 모듈을 통한 사전 훈련의 유용성을 입증한다.