[논문 리뷰] Improving Word Translation via Two-Stage Contrastive Learning

Yaoyiran Li, Fangyu Liu외 3명|arXiv (Cornell University)|2022. 03. 15.

Natural Language Processing Techniques참고 문헌 63인용 수 8

한 줄 요약

이 논문은 이중어 어휘 유도(BLI)를 향상시키기 위해 이중 단계 대비 학습 프레임워크를 제안한다. 첫 번째 단계(C1)에서는 자기학습을 통한 대비 학습으로 정적 단어 임베딩을 개선하고, 두 번째 단계(C2)에서는 C1의 출력 결과를 부정 예시로 사용해 mBERT를 대비 목적함수로 미세조정한다. 이 방법은 다양한 언어 조합에서 112개의 BLI 설정 중 112개에서 최신 기술 수준의 성능을 달성하며, Precision@1 기준 최대 +10 포인트의 향상률을 기록한다.

ABSTRACT

Word translation or bilingual lexicon induction (BLI) is a key cross-lingual task, aiming to bridge the lexical gap between different languages. In this work, we propose a robust and effective two-stage contrastive learning framework for the BLI task. At Stage C1, we propose to refine standard cross-lingual linear maps between static word embeddings (WEs) via a contrastive learning objective; we also show how to integrate it into the self-learning procedure for even more refined cross-lingual maps. In Stage C2, we conduct BLI-oriented contrastive fine-tuning of mBERT, unlocking its word translation capability. We also show that static WEs induced from the `C2-tuned' mBERT complement static WEs from Stage C1. Comprehensive experiments on standard BLI datasets for diverse languages and different experimental setups demonstrate substantial gains achieved by our framework. While the BLI method from Stage C1 already yields substantial gains over all state-of-the-art BLI methods in our comparison, even stronger improvements are met with the full two-stage framework: e.g., we report gains for 112/112 BLI setups, spanning 28 language pairs.

연구 동기 및 목표

• 정적 단어 임베딩(WEs)을 기반으로 한 약한 감독 BLI를 대비 학습을 통해 교차 언어 맵핑을 향상시켜 개선한다.
• mBERT와 같은 다국어 언어 모델의 단어 번역 능력을 BLI 중심의 대비 미세조정을 통해 해금한다.
• 개선된 정적 WEs(C1)와 미세조정된 mBERT(C2)의 교차 언어 표현을 조합하여 더 뛰어난 BLI 성능을 달성한다.
• 정적 WEs와 다국어 LM 표현을 통합하면 단독으로 사용할 경우보다 더 강력한 BLI 결과를 낼 수 있는지 조사한다.

제안 방법

• C1 단계에서는 진정한 번역 쌍을 양성 예시로, 하드 네거티브를 사용해 정적 단어 임베딩 간 선형 교차 언어 맵핑을 대비 학습 목적으로 개선한다.
• C1 프레임워크는 반복적으로 학습 사전을 개선하고 대비 손실 함수를 사용해 맵핑을 재학습함으로써 맵핑을 향상시키는 자기학습 루프를 통합한다.
• C2 단계에서는 mBERT를 대비 학습 목적으로 미세조정하며, 양성 예시는 진정한 번역 쌍이고, 부정 예시는 C1의 출력 결과에서 추출된다.
• 최종 단어 표현은 C1에서 유도된 교차 언어 정적 WEs와 C2에서 유도된 미세조정된 mBERT 표현을 연결하거나 조합함으로써 형성된다.
• 양 단계 모두에서 대비 학습은 양성 쌍 간 유사도를 최대화하고 부정 쌍 간 유사도를 최소화하는 손실 함수를 사용한다.
• 프레임워크는 다양한 설정에서 8개의 다양한 언어와 112개의 언어 조합을 포함한 표준 BLI 벤치마크에서 평가된다.

Figure 1: An illustration of the proposed two-stage BLI approach (see § 2 ). It combines contrastive tuning on both static WEs (C1) and pretrained multilingual LMs (C2), where the static WEs are leveraged for selecting negative examples in contrastive tuning of the LM. The output of C1 and C2 is com

실험 결과

연구 질문

• RQ1 정적 단어 임베딩을 기반으로 한 (약한 감독) 맵핑 기반 BLI 방법을 더 향상시킬 수 있는가?
• RQ2 mBERT와 같은 사전 학습된 다국어 언어 모델에서 더 유용한 교차 언어 단어 표현을 어떻게 추출할 수 있는가?
• RQ3 정적 단어 임베딩과 다국어 언어 모델의 표현을 통합함으로써 BLI 성능을 향상시킬 수 있는가?

주요 결과

• C1 단계만으로도 모든 112개의 BLI 설정 평균에서 약 +8 Precision@1 포인트의 향상률을 기록했으며, 112개 중 107개의 설정에서 향상되었다.
• 전체 이중 단계 프레임워크(C1 + C2)는 모든 112개의 BLI 설정에서 성능 향상을 보였으며, 많은 언어 조합에서 최대 +10 Precision@1 포인트의 향상률을 기록했다.
• 예를 들어 'čvrsto'(HR) → 'firmly'(EN)와 같은 어려운 예시에서 C2(C1) 방법은 'firmly'를 상위 5개 내에서 더 높은 순위로 끌어올려 예측 성공률를 향상시켰다.
• HR-EN 및 IT-EN 조합에서 C2(C1) 방법은 'monkeys', 'enzymes', 'peach'와 같은 정확한 번역어를 베이스라인 및 C1보다 더 높게 순위를 매겨 더 나은 의미 정렬을 보였다.
• 저자원 및 상이한 언어 조합을 포함한 다양한 언어 조합에서 일관된 성능 향상을 보이며, 이는 강건성을 시사한다.
• C1에서 유도된 정적 WEs와 C2에서 미세조정된 mBERT 표현의 조합은 뛰어난 성능을 낳으며, 다양한 교차 언어 신호 소스 통합의 이점을 확인한다.