[논문 리뷰] Phylogeny-Inspired Adaptation of Multilingual Models to New Languages

Fahim Faisal, Antonios Anastasopoulos|arXiv (Cornell University)|2022. 05. 19.

Natural Language Processing Techniques인용 수 6

한 줄 요약

이 논문은 유전적으로 관련된 언어의 어댑터 간에 파라미터를 공유함으로써 다국어 간 전이 성능을 햖थ한 계통수 유사 어댑터 프레임워크를 제안한다. 언어 가문 나무 구조로 어댑터를 구성함으로써, 문법적 및 의미적 과제에서 기존 표준 어댑터와 동일한 파라미터 수를 유지하면서도 20퍼센트 이상의 상대적 성능 향상을 달성한다. 특히 사전 학습 중에 등장하지 않은 언어에 대해 뛰어난 성능을 보인다.

ABSTRACT

Large pretrained multilingual models, trained on dozens of languages, have delivered promising results due to cross-lingual learning capabilities on variety of language tasks. Further adapting these models to specific languages, especially ones unseen during pre-training, is an important goal towards expanding the coverage of language technologies. In this study, we show how we can use language phylogenetic information to improve cross-lingual transfer leveraging closely related languages in a structured, linguistically-informed manner. We perform adapter-based training on languages from diverse language families (Germanic, Uralic, Tupian, Uto-Aztecan) and evaluate on both syntactic and semantic tasks, obtaining more than 20% relative performance improvements over strong commonly used baselines, especially on languages unseen during pre-training.

연구 동기 및 목표

• 다국어 모델에서 자원이 적거나 사전 학습 중에 포함되지 않은 언어에 대해 다국어 간 전이 성능을 향상시키기.
• 사전 학습 기간 동안 포함되지 않은 언어에 대해 다국어 모델을 미세조정할 때 성능이 제한되는 문제를 해결하기.
• 특히 언어 계통수를 통해 언어 간 유사성을 활용하여 효율적인 어댑터 파라미터 공유를 이끌어내기.
• 구조화된, 언어학적으로 정보를 반영한 어댑터 공유 방식이 표준적인 고립된 어댑터 훈련 방식보다 우수한 성능을 내는지 입증하기.
• 최소한의 추가 파라미터로 다국어 NLP 시스템의 커버리지 범위를 자원이 적은 언어 및 토착 언어까지 확장하기.

제안 방법

• 역사적 언어학적 관계를 기반으로 언어의 계통수 나무를 구축하여 계층적 어댑터 공유 구조를 정의하기.
• 모든 관련 언어에 파라미터를 공유하기 위해 계통수 상단에 루트 어댑터를 도입하기.
• 각 대상 언어의 단일 언어 텍스트에서 마스크된 언어 모델링 목적함수를 사용해 어댑터를 공동으로 훈련하기.
• 어댑터 스택을 [루트_어댑터, 언어_어댑터, 작업_어댑터]로 구성함으로써 관련 언어 간에 공유 표현을 가능하게 하기.
• Germanic, Uralic, Tupian, Uto-Aztecan 등 다양한 언어 가문에 프레임워크를 적용하고, 문법적 및 의미적 과제에서 평가하기.
• 표준 어댑터와 동일한 어댑터 파라미터 총수를 유지함으로써 공정한 비교 및 계산 효율성 확보하기.

Figure 2: Visualizing three different task results across languages (marker size relative to MLM training data size). In most cases, and especially in languages unseen during pre-training, our hierarchical phylogeny-inspired adapters outperform the baselines.

실험 결과

연구 질문

• RQ1 어댑터 파라미터 공유에 언어 계통수를 통합함으로써 제로샷 및 희소한 샘플의 다국어 간 전이 성능 향상이 가능한가?
• RQ2 유전적으로 관련된 언어 간에 공유된 미세조정을 적용할 경우, 고립된 어댑터 훈련 대비 사전 학습 중에 등장하지 않은 언어에서 성능이 향상되는가?
• RQ3 계층적 계통수 구조는 다양한 언어 가문, 특히 타이포로지적 거리가 다른 언어 가문에서 성능에 어떤 영향을 미치는가?
• RQ4 이 방법은 학습 가능한 파라미터 수를 늘리지 않으면서도 상당한 성능 향상을 달성할 수 있는가?
• RQ5 극적으로 다를 수 있는 언어 하위군(예: 인도유럽어족의 게르만어파, 라틴어파, 슬라브어파) 간에 공유 표현을 강제로 적용할 경우 전체 성능에 어떤 영향을 미치는가?

주요 결과

• 계통수 유사 어댑터 프레임워크는 강력한 기준 모델 대비 문법적 및 의미적 과제에서 20퍼센트 이상의 상대적 성능 향상을 달성한다.
• 사전 학습 중에 등장하지 않은 언어에 대해 성능 향상이 특히 두드러지며, 강력한 제로샷 일반화 능력을 입증한다.
• 표준 어댑터와 동일한 어댑터 파라미터 총수를 유지하면서도, 구조화된 공유 방식 덕분에 훨씬 더 우수한 성능을 달성한다.
• 동일한 언어 가문에 属하는 언어들에 대해 계층적 어댑터 구조는 더 효과적인 파라미터 활용과 더 빠른 수렴을 이끌어낸다.
• 자원이 적은 언어 가문(예: 우랄어족) 및 토착 미국 언어를 포함한 다양한 언어 가문에서 뛰어난 강건성을 보인다.
• 극적으로 다를 수 있는 인도유럽어족 하위군(예: 게르만어파, 라틴어파, 슬라브어파) 간에 공유 표현을 강제로 적용할 경우 성능 저하가 발생함을 확인하여, 광범위한 계통수 기반 공유의 한계를 시사한다.