[논문 리뷰] Transfer to a Low-Resource Language via Close Relatives: The Case Study on Faroese

Vésteinn Snæbjarnarson, Annika Simonsen외 2명|arXiv (Cornell University)|2023. 04. 18.

Natural Language Processing Techniques참고 문헌 47인용 수 7

한 줄 요약

이 논문은 스칸디나비아어 모델을 활용하여 저자원 언어인 파라우에 대한 언어학적으로 정보화된 전이 학습 방법을 제안한다. 특히, 스칸디나비아어 모델을 사용해 파라우어 자연어 처리(NLP) 작업의 성능을 향상시킨다. 모든 다섯 종류의 스칸디나비아어(덴마크어, 노르웨이어, 스웨덴어, 아이슬란드어, 파라우어)를 대상으로 다국어 모델을 훈련하고, 소규모 파라우어 단일 언어 코퍼스로 미세조정함으로써, 표준 다국어 모델인 XLM-R보다도 성능 향상이 두드러지게 나타나며, 특히 의미적 텍스트 유사도(STS) 작업에서 74.7%의 F1 스코어를 기록한다. 이는 새로운 파라우어 STS 데이터셋에서의 결과이다.

ABSTRACT

Multilingual language models have pushed state-of-the-art in cross-lingual NLP transfer. The majority of zero-shot cross-lingual transfer, however, use one and the same massively multilingual transformer (e.g., mBERT or XLM-R) to transfer to all target languages, irrespective of their typological, etymological, and phylogenetic relations to other languages. In particular, readily available data and models of resource-rich sibling languages are often ignored. In this work, we empirically show, in a case study for Faroese -- a low-resource language from a high-resource language family -- that by leveraging the phylogenetic information and departing from the 'one-size-fits-all' paradigm, one can improve cross-lingual transfer to low-resource languages. In particular, we leverage abundant resources of other Scandinavian languages (i.e., Danish, Norwegian, Swedish, and Icelandic) for the benefit of Faroese. Our evaluation results show that we can substantially improve the transfer performance to Faroese by exploiting data and models of closely-related high-resource languages. Further, we release a new web corpus of Faroese and Faroese datasets for named entity recognition (NER), semantic text similarity (STS), and new language models trained on all Scandinavian languages.

연구 동기 및 목표

• 일괄적인 다국어 모델(예: XLM-R)이 저자원 환경에서 성능에 한계를 보일 수 있는 점을 해결하기 위해 언어학적 계통수학적 관계를 통합한다.
• 고자원 형제 언어(덴마크어, 노르웨이어, 스웨덴어, 아이슬란드어)가 저자원 게르만어인 파라우어로의 전이 성능을 향상시킬 수 있는지 조사한다.
• 웹 코퍼스, NER, STS 데이터셋을 포함한 파라우어 전용 자원과 모든 스칸디나비아어를 기반으로 훈련된 다국어 언어 모델을 개발하고 공개한다.
• 소규모 파라우어 단일 언어 코퍼스로의 계속된 사전 훈련이 관련 언어 데이터만을 사용하는 것보다 후행 작업 성능을 더 향상시킬 수 있는지 입증한다.
• 매우 다국어 모델이 제로샷 전이에 최적임을 가정하는 것에 도전하며, 특히 자원이 풍부한 밀접하게 관련된 언어가 존재할 경우 이는 바람직하지 않음을 시사한다.

제안 방법

• 공통된 언어적 특성과 형태구문적 유사성을 활용하여, 덴마크어, 노르웨이어, 스웨덴어, 아이슬란드어, 파라우어를 포함한 다섯 종류의 스칸디나비아어를 대상으로 다국어 언어 모델(ScandiBERT)을 훈련한다.
• 다국어 모델의 표현을 파라우어에 맞추기 위해 Wechsel 적응을 적용함으로써, 후행 작업에 대한 효과적인 제로샷 전이를 가능하게 한다.
• 다국어 모델 훈련 후, 파라우어 전용 작업 데이터셋(NER 및 STS)을 사용하여 모델을 미세조정하며, 교차 언어 감독과 대상 언어 데이터를 모두 활용한다.
• 다국어 모델(ScandiBERT)만을 사용하는 경우와 XLM-R 및 계속된 사전 훈련 여부에 따라 변형된 버전을 비교하는 분석 실험을 수행한다.
• 덴마크어, 파라우어, 아이슬란드어, 노르웨이어, 스웨덴어의 NER 애너테이션을 통합하여 하나의 일관된 스키마로 통합함으로써 공동 훈련을 가능하게 한다.
• 원어민이 애너테이션한 새로운 단일 언어 파라우어 웹 코퍼스와 새로운 파라우어 STS 데이터셋을 공개하여 향후 연구를 지원한다.

실험 결과

연구 질문

• RQ1 일반적인 다국어 모델인 XLM-R을 사용하는 것과 비교해, 고자원이고 밀접하게 관련된 스칸디나비아어를 활용하면 파라우어의 제로샷 교차 언어 전이 성능이 향상되는가?
• RQ2 소규모 파라우어 단일 언어 코퍼스로의 계속된 사전 훈련이 후행 전이 성능 향상에 얼마나 기여하는가?
• RQ3 모든 다섯 종류의 스칸디나비아어를 기반으로 훈련된 다국어 모델이 저자원 언어 전이를 위해 언어적 유사성을 얼마나 잘 포착하는가?
• RQ4 언어학적 계통수학적 가까움이 의미 수준의 작업, 특히 의미적 텍스트 유사도와 같은 고급 의미 작업에서 전이 성능에 어떤 영향을 미치는가?
• RQ5 스칸디나비아어 전반에 걸쳐 통합된 NER 애너테이션 스키마는 파라우어를 위한 효과적인 교차 언어 사전 훈련과 미세조정을 가능하게 하는가?

주요 결과

• 모든 다섯 종류의 스칸디나비아어를 기반으로 훈련된 ScandiBERT 모델은 XLM-R보다 모든 후행 작업에서 성능이 뛰어나며, 새로운 파라우어 STS 데이터셋에서 74.7%의 F1 스코어를 기록한다. 이는 XLM-R의 65.7%보다 뚜렷이 높은 성능이다.
• 소규모 파라우어 단일 언어 코퍼스로의 계속된 사전 훈련(XLM-R-fc3)을 통해 STS 성능이 74.7% F1로 향상되었으며, 이는 저자원 환경에서도 대상 언어 데이터의 가치가 있음을 입증한다.
• 가장 높은 성능을 기록한 NER 모델(SB-no-fo-fc3)은 아이슬란드어 데이터로 사전 미세조정한 후 파라우어 FoNE 데이터셋으로 미세조정했을 때 91.4%의 F1 스코어를 기록했으며, 고자원 형제 언어인 아이슬란드어가 전이에 매우 효과적임을 보여준다.
• 모든 스칸디나비아어를 기반으로 훈련된 모델(ScandiBERT)은 STS 작업에서 96.8% F1을 기록하여 XLM-R(81.0%)와 다른 기준 모델들을 압도하며, 관련 언어를 대상으로 한 다국어 사전 훈련이 일반적인 다국어 모델보다 더 효과적임을 시사한다.
• ScandiBERT의 NER 성능은 안정적이고 강력하며, 스칸디나비아 NER 데이터를 통합하여 미세조정했을 때 91.8% F1을 기록하여, 관련 언어를 공동으로 사전 훈련함으로써 일반화 능력이 향상됨을 보여준다.
• 새로운 파라우어 웹 코퍼스와 두 가지 작업 전용 데이터셋(NER 및 STS)의 공개는 파라우어 및 유사 저자원 언어의 향후 저자원 NLP 연구를 위한 기반을 마련한다.