[논문 리뷰] Analysing The Impact Of Linguistic Features On Cross-Lingual Transfer

Blazej Dolicki, Gerasimos Spanakis|arXiv (Cornell University)|2021. 05. 12.

Natural Language Processing Techniques참고 문헌 21인용 수 11

한 줄 요약

이 논문은 30개의 언어에서 XLM-R와 XTREME 벤치마크 데이터를 사용하여 다국어 NLP 모델에서 세밀한 언어적 특징이 다국어 간 전이 성능에 어떻게 영향을 미치는지 조사한다. 특정 문법적 특징—특히 어순—이 집계된 문법적 거리보다 전이 품질을 2–4배 더 잘 예측하며, 최적의 소스 언어가 다운스트림 작업에 따라 크게 달라져 보편적인 최적 소스 언어가 있다는 개념을 반박한다.

ABSTRACT

There is an increasing amount of evidence that in cases with little or no data in a target language, training on a different language can yield surprisingly good results. However, currently there are no established guidelines for choosing the training (source) language. In attempt to solve this issue we thoroughly analyze a state-of-the-art multilingual model and try to determine what impacts good transfer between languages. As opposed to the majority of multilingual NLP literature, we don't only train on English, but on a group of almost 30 languages. We show that looking at particular syntactic features is 2-4 times more helpful in predicting the performance than an aggregated syntactic similarity. We find out that the importance of syntactic features strongly differs depending on the downstream task - no single feature is a good performance predictor for all NLP tasks. As a result, one should not expect that for a target language $L_1$ there is a single language $L_2$ that is the best choice for any NLP task (for instance, for Bulgarian, the best source language is French on POS tagging, Russian on NER and Thai on NLI). We discuss the most important linguistic features affecting the transfer quality using statistical and machine learning methods.

연구 동기 및 목표

• 다국어 NLP 모델에서 성공적인 제로샷 다국어 간 전이를 가장 강하게 예측하는 언어적 특징을 특정하는 것.
• 저자원 환경에서 모든 작업에 대해 단일 소스 언어가 최적임을 가정하는 것을 도전하는 것.
• 세밀한 언어적 특징이 집계된 문법적 거리 지표보다 전이 성능 예측에 더 나은가를 평가하는 것.
• 직관이 아닌 언어 유사성에 기반한 소스 언어 선택을 위한 경험적 프레임워크를 제공하는 것.
• XTREME 벤치마크를 확장하여 비영어 언어에 대한 학습을 지원하고, 더 넓은 공동체가 사용할 수 있도록 결과를 공개하는 것.

제안 방법

• 비영어 언어 학습을 가능하게 하기 위해 확장된 XTREME 벤치마크를 사용해 XLM-R base 모델을 30개 언어에서 훈련시켰다.
• WALS 데이터베이스에서 유래한 97개의 언어적 특징(형태론, 어순, 동사적 범주, 명사어 문법 등)을 추출했다.
• POS 태깅, NER, XNLI 작업에서의 제로샷 성능을 예측하기 위해 통계 및 기계학습 모델(예: 랜덤 포레스트, XGBoost)을 사용했다.
• lang2vec를 사용해 세밀한 특징을 집계된 거리 지표와 비교하여 문법적 거리를 계산했다.
• 각 작업별로 특징 중요도 분석을 수행하여 최상위 예측 언어적 특징을 특정했다.
• RMSE를 사용해 모델 성능을 평가하고, 언어적 특징 그룹별로 추론 분석(ablation studies)을 수행했다.

실험 결과

연구 질문

• RQ1 세밀한 언어적 특징의 포함 여부가 언어 간 전이 예측에 집계된 문법적 거리 지표보다 향상되는가?
• RQ2 POS 태깅, NER, XNLI 작업에서 '전이 가능성'과 성능에 가장 큰 영향을 미치는 언어적 특징은 무엇인가?
• RQ3 다양한 작업에 대해 잘 작동하는 일반적인 언어적 특징을 특정할 수 있는가, 아니면 특징 중요도가 작업별로 다르게 나타나는가?
• RQ4 어순, 동사적 범주 등 다양한 언어적 특징 그룹이 작업 전반에서 전이 성능에 어떻게 기여하는가?

주요 결과

• 세밀한 언어적 특징은 집계된 문법적 거리 지표보다 제로샷 전이 예측 성능을 2–4배 향상시켰으며, 어순 특징을 사용한 POS 태깅의 경우 RMSE는 0.0401이었다.
• POS 태깅과 NER에서 어순이 가장 예측 능력이 높은 특징 그룹이었으며, 각각 RMSE 0.0401과 0.0487을 기록하여 그 핵심적인 역할을 확인했다.
• XNLI 작업에서는 동사적 범주가 가장 중요한 특징 그룹이었고, RMSE는 0.00772로 나타나 작업에 따라 다른 언어적 차원이 지배적임을 시사했다.
• 모든 작업에 걸쳐 유일한 언어적 특징이 보편적으로 예측 가능하지 않았다. 예를 들어, 불가리아어에서 POS 태깅에는 프랑스어가 가장 좋았고, NER에는 러시아어, XNLI에는 태국어가 최적의 소스 언어였다.
• 최적의 전이 성능을 보이는 소스 언어가 작업에 따라 크게 달라졌으며, 불가리아어의 경우 각각 POS, NER, XNLI 작업에 대해 프랑스어, 러시아어, 태국어가 최적의 소스 언어였다.
• 이 연구는 보편적인 최적 소스 언어가 존재하지 않음을 확인했으며, 전이 가능성은 매우 작업 의존적이며 특정 언어적 정렬에 의해 이끌린다.