[논문 리뷰] Probing Cross-Lingual Lexical Knowledge from Multilingual Sentence Encoders

Ivan Vulić, Goran Glavašš외 4명|arXiv (Cornell University)|2022. 04. 30.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 다국어 문장 인코더(multilingual sentence encoders, SEs)에서 숨겨진 다국어 어휘 지식을 추출하고 폭 드러내기 위해 단순한 대비 미세조정 대비 방법을 제안한다. 이는 오직 1,000~5,000개의 단어 번역 쌍만으로도 이중어 어휘 유도(BLI)와 같은 다국어 어휘 작업에서 최신 기술 성능을 달성하며, Precision@1 기준 최대 +10 포인트 향상을 기록한다. 이 방법은 대규모 평행 데이터가 필요 없이도 SEs를 강력한 어휘 인코더로 효과적으로 '다시 연결'한다.

ABSTRACT

Pretrained multilingual language models (LMs) can be successfully transformed into multilingual sentence encoders (SEs; e.g., LaBSE, xMPNet) via additional fine-tuning or model distillation with parallel data. However, it remains unclear how to best leverage them to represent sub-sentence lexical items (i.e., words and phrases) in cross-lingual lexical tasks. In this work, we probe SEs for the amount of cross-lingual lexical knowledge stored in their parameters, and compare them against the original multilingual LMs. We also devise a simple yet efficient method for exposing the cross-lingual lexical knowledge by means of additional fine-tuning through inexpensive contrastive learning that requires only a small amount of word translation pairs. Using bilingual lexical induction (BLI), cross-lingual lexical semantic similarity, and cross-lingual entity linking as lexical probing tasks, we report substantial gains on standard benchmarks (e.g., +10 Precision@1 points in BLI). The results indicate that the SEs such as LaBSE can be 'rewired' into effective cross-lingual lexical encoders via the contrastive learning procedure, and that they contain more cross-lingual lexical knowledge than what 'meets the eye' when they are used as off-the-shelf SEs. This way, we also provide an effective tool for harnessing 'covert' multilingual lexical knowledge hidden in multilingual sentence encoders.

연구 동기 및 목표

• 다국어 문장 인코더(SEs)가 공급된 그대로의 성능 이외에도 상당한 다국어 어휘 지식을 저장하고 있는가를 조사하는 것.
• BLI와 같은 문장 이하 수준의 어휘 작업에서 정적 다국어 단어 임베딩(CLWEs)에 비해 성능이 열등한 SEs의 격차를 해소하는 것.
• 소규모 이중어 사전만을 사용해 대비 학습을 통해 이 잠재된 어휘 지식을 폭 드러내는 경량이고 효율적인 방법을 개발하는 것.
• 결과적으로 도출된 전문화된 인코더가 표준 다국어 어휘 탐지 작업에서 원본 다국어 언어 모델과 SEs를 모두 초월함을 보여주는 것.
• 저자원 언어 쌍에서 이 방법의 효과성을 검증하고, 추가 성능 향상을 위해 정적 CLWEs와 융합하는 방법을 탐색하는 것.

제안 방법

• LaBSE, xMPNET 등의 다국어 문장 인코더와 mBERT, XLM-R 등의 다국어 언어 모델을 소규모 이중어 어휘사전(1,000~5,000개 단어 쌍)에서 대비 학습 목표를 사용해 미세조정한다.
• 단어 번역의 조밀한 벡터 표현을 서로 가까이 모으고, 비번역을 서로 멀리 떼는 대비 손실를 사용하여 다국어 어휘 정렬을 최적화한다.
• 각 언어 쌍 별로 독립적으로 미세조정 절차를 적용함으로써 각 쌍에 맞는 전문화된 어휘 특성화를 가능하게 한다.
• 문맥 의존성 없이 고립된 단어나 어구를 인코더에 입력하여 모델 파rameter에 담긴 어휘 지식을 고립시킨다.
• 결과로 도출된 다국어 어휘 벡터와 정적 CLWEs(예: Artetxe 등)를 혼합하여 성능을 추가로 향상시킨다.
• 세 가지 표준 작업에서 성능을 평가한다: 이중어 어휘 유도(BLI), 다국어 어휘 의미 유사도(XLSIM), 다국어 실체 연결(XL-EL).

실험 결과

연구 질문

• RQ1 다국어 문장 인코더가 공급된 그대로의 성능 이외에도 관찰 가능한 것보다 더 많은 다국어 어휘 지식을 내재하고 있는가?
• RQ2 소규모 평행 데이터(1,000~5,000개 단어 쌍)만으로도 경량 대비 미세조정 절차가 이 숨겨진 어휘 지식을 효과적으로 폭 드러낼 수 있는가?
• RQ3 결과로 도출된 전문화된 어휘 인코더의 성능이 표준 다국어 어휘 작업에서 원본 다국어 언어 모델과 SEs를 모두 초월하는가?
• RQ4 이 방법이 자원이 부족한 언어 쌍에서 특히 뛰어난 성능 향상을 가져오는가?
• RQ5 미세조정된 인코더를 정적 CLWEs와 융합하면 다국어 어휘 작업의 성능이 추가로 향상되는가?

주요 결과

• 제안된 대비 미세조정 절차는 표준 BLI 벤치마크에서 최대 +10 Precision@1 포인트 향상을 기록하며, 원본 다국어 언어 모델과 SEs를 모두 크게 능가한다.
• LaBSE, xMPNET 등의 다국어 SEs가 공급된 그대로의 성능 이외에도 상당한 다국어 어휘 지식을 내재하고 있으나, 추가적인 미세조정 없이선 이를 충분히 활용하지 못한다.
• 이 방법은 오직 1,000~5,000개의 단어 번역 쌍만으로도 BLI, XLSIM, XL-EL 작업에서 최신 기술 성능을 달성하여 매우 효율적이고 확장 가능한 성능을 보인다.
• 특히 자원이 부족한 언어 쌍에서 뚜렷한 성능 향상이 관찰되어, 낮은 데이터 환경에서의 효과성을 입증한다.
• 미세조정된 어휘 벡터를 정적 CLWEs와 혼합하면 성능이 더욱 향상되며, 이는 학습된 임베딩과 정적 임베딩 간의 상호보완적 강점이 있음을 시사한다.
• 이 방법은 모델에 종속되지 않으며, 어떤 다국어 인코더에도 적용 가능하여 잠재된 어휘 지식을 해금하는 일반 목적의 도구를 제공한다.