[논문 리뷰] Using Similarity Measures to Select Pretraining Data for NER

Xiang Dai, Sarvnaz Karimi외 2명|arXiv (Cornell University)|2019. 04. 01.

Topic Modeling참고 문헌 50인용 수 18

한 줄 요약

이 논문은 이름 붙인 실체 인식(NER)을 위한 사전 훈련 데이터의 효과를 예측하기 위해 비용 효율적인 세 가지 유사도 측정 기준—대상 어휘 커버리지 비율, 언어 모델 퍼플렉서티, 단어 벡터 분산—을 제안한다. 이 측정 기준들이 성능을 신뢰성 있게 예측함을 입증하며, 특히 사전 훈련된 언어 모델이 단어 벡터보다 더 효과적이고 예측 가능하다는 점을 보여주며, 작은 유사 데이터셋이 큰 일반화된 데이터셋보다 성능이 뛰어나다는 것을 확인한다.

ABSTRACT

Word vectors and Language Models (LMs) pretrained on a large amount of unlabelled data can dramatically improve various Natural Language Processing (NLP) tasks. However, the measure and impact of similarity between pretraining data and target task data are left to intuition. We propose three cost-effective measures to quantify different aspects of similarity between source pretraining and target task data. We demonstrate that these measures are good predictors of the usefulness of pretrained models for Named Entity Recognition (NER) over 30 data pairs. Results also suggest that pretrained LMs are more effective and more predictable than pretrained word vectors, but pretrained word vectors are better when pretraining data is dissimilar.

연구 동기 및 목표

• NER 작업을 위한 사전 훈련 데이터 선택에 체계적인 방법이 부족하여 현재는 히우리스틱적 직관에 의존하고 있다는 문제를 해결하기 위해.
• 사전 훈련된 단어 벡터나 언어 모델이 목표 NER 데이터셋에서 어떻게 성능을 내는지 예측할 수 있는 비용 효율적이고 정량적인 측정 기준을 개발하기 위해.
• 효과적인 사전 훈련을 위해 분야(주제 분야)와 톤(대화 맥락) 모두에서의 유사성이 필수적인지 조사하기 위해.
• 작은 유사 사전 훈련 데이터가 성능과 계산 비용 측면에서 큰 일반화된 코퍼스를 능가할 수 있는지 평가하기 위해.
• 연구자들이 광범위한 시도-오류 과정 없이 최적의 사전 훈련 데이터를 선택할 수 있는 실용적이고 데이터 기반의 프레임워크를 제공하기 위해.

제안 방법

• 세 가지 유사도 측정 기준 제안: (1) 대상 어휘 커버리지 비율(VCcR), 소스 및 대상 어휘 간의 어휘 겹침을 측정; (2) 언어 모델 퍼플렉서티, 언어 모델이 대상 데이터에 얼마나 잘 맞는지 평가; (3) 단어 벡터 분산, 대상 데이터에 대해 미세조정했을 때 단어 벡터의 변화를 측정.
• 소스 코퍼스 여러 개에서 스위프그램과 음성 샘플링을 사용한 워드2벡트(word2vec)로 단어 벡터를 훈련하고, 표준 트랜스포머 기반 아키텍처를 사용해 언어 모델(LM)을 훈련.
• 다양한 분야(예: 생물학, 지역 사업)와 톤(예: 위키백과, 리뷰, 의료 지침)를 포함한 다섯 개의 소스 및 여섯 개의 목표 NER 데이터셋에서 30개의 데이터 쌍에 대해 사전 훈련 모델을 평가.
• 각 측정 기준이 최종 NER F1 점수 향상도를 얼마나 잘 예측하는지 평가하기 위해 통계적 상관 분석을 실시.
• 소스 데이터 크기, 유사성, 하이퍼파라미터 설정이 모델 성능에 미치는 영향을 분리하여 분석하기 위해 아블레이션 스터디를 수행.
• 비용 효율성을 검증하기 위해 훨씬 큰 코퍼스로 사전 훈련된 공개 모델들과 결과를 비교.

실험 결과

연구 질문

• RQ1 대상 어휘 커버리지 비율, 언어 모델 퍼플렉서티, 단어 벡터 분산이 NER를 위한 사전 훈련 데이터 효과성 예측에 신뢰할 수 있는 예측 기준이 될 수 있는가?
• RQ2 분야와 톤 모두에서의 유사성이 사전 훈련 모델 성능에 크게 영향을 주는가, 아니면 분야 유사성만으로도 충분한가?
• RQ3 작고 도메인 특화된 사전 훈련 코퍼스가 성능과 계산 비용 측면에서 큰 일반화된 코퍼스를 능가할 수 있는가?
• RQ4 사전 훈련된 단어 벡터와 언어 모델 간의 선택은 소스와 대상 데이터 간의 유사성에 따라 어떻게 달라지는가?
• RQ5 소스 데이터 크기가 모델 성능에 대한 유사성의 영향을 조절하는 데 어느 정도 기여하는가?

주요 결과

• 대상 어휘 커버리지 비율(VCcR)은 사전 훈련된 단어 벡터의 효과성에 가장 강력한 예측 기준이며, 어휘 겹침이 높을수록 NER 성능이 뛰어나게 나타난다.
• 소스와 대상 데이터가 유사할 경우 사전 훈련된 언어 모델이 단어 벡터를 능가하며, 최적 설정으로 WetLab에서 최대 79.62 F1, ScienceIE에서 42.07 F1을 기록한다.
• 작은 유사 코퍼스인 500MB의 PubMed 데이터로 사전 훈련한 모델이 10억 토큰의 일반화된 데이터로 훈련한 모델보다 성능이 뛰어나며, 훈련 시간을 수주에서 수시간으로 줄였다.
• 비유사 데이터 쌍(예: PubMed에서 CoNLL2003로)에서는 사전 훈련된 단어 벡터가 소스 크기에 관계없이 항상 언어 모델보다 성능이 뛰어나다.
• Chiu 등(2016)이 제안한 하이퍼파라미터 설정은 대부분의 데이터 쌍에서 단어 벡터 성능을 향상시키지만, 여전히 유사성의 영향이 더 우세하다.
• 소스 데이터 크기가 500MB를 초과하면 수익 감소 효과가 나타나며, 이는 효과적인 사전 훈련을 위해 유사성이 크기보다 더 중요하다는 것을 시사한다.