[논문 리뷰] Do We Really Need Fully Unsupervised Cross-Lingual Embeddings?

Ivan Vulić, Goran Glavašš외 2명|arXiv (Cornell University)|2019. 01. 01.

Topic Modeling참고 문헌 56인용 수 6

한 줄 요약

이 논문은 완전히 비지도 학습형 다국어 단어 임베딩(CLWE) 방법의 필요성을 도전하며, 단지 500~1,000개의 시드 번역 쌍만을 사용하는 약한 지도 학습 방법이 210개의 언어 쌍에 걸쳐 가장 강력한 비지도 학습 CLWE 방법들조차도 일관되게 뛰어나게 성능을 내는 것으로 보여준다. 저자들은 비지도 학습 방법의 진정한 강점이 지도 학습의 부재에 있는 것이 아니라, 자기 학습 및 사전 처리 구성 요소에 있음을 입증하며, 이러한 요소들은 약한 지도 학습 환경에도 동일하게 적용될 수 있음을 보여준다.

ABSTRACT

Recent efforts in cross-lingual word embedding (CLWE) learning have predominantly focused on fully unsupervised approaches that project monolingual embeddings into a shared cross-lingual space without any cross-lingual signal. The lack of any supervision makes such approaches conceptually attractive. Yet, their only core difference from (weakly) supervised projection-based CLWE methods is in the way they obtain a seed dictionary used to initialize an iterative self-learning procedure. The fully unsupervised methods have arguably become more robust, and their primary use case is CLWE induction for pairs of resource-poor and distant languages. In this paper, we question the ability of even the most robust unsupervised CLWE approaches to induce meaningful CLWEs in these more challenging settings. A series of bilingual lexicon induction (BLI) experiments with 15 diverse languages (210 language pairs) show that fully unsupervised CLWE methods still fail for a large number of language pairs (e.g., they yield zero BLI performance for 87/210 pairs). Even when they succeed, they never surpass the performance of weakly supervised methods (seeded with 500-1,000 translation pairs) using the same self-learning procedure in any BLI setup, and the gaps are often substantial. These findings call for revisiting the main motivations behind fully unsupervised CLWE methods.

연구 동기 및 목표

• 완전히 비지도 학습형 CLWE 방법이 자원이 적거나 언어 간 거리가 먼 경우에 진정으로 필요하거나 효과적인지 평가하는 것.
• 다양한 언어 쌍에서 이중어사전 유도(BLI) 작업에서 비지도 학습과 약한 지도 학습 CLWE 방법 간의 성능 격차를 조사하는 것.
• 비지도 학습 CLWE의 성공이 지도 학습의 부재가 아니라 자기 학습 및 사전 처리 구성 요소에 기인하는지 판단하는 것.
• 형태학적 다양성이 높은 언어와 도메인 불일치 상황에서 비지도 학습 CLWE 방법의 강건성을 평가하는 것.
• 완전히 비지도 학습 방법에서의 초점을 약한 지도 학습 방법으로 전환하고, 강력한 구성 요소를 최소한의 지도 학습과 함께 활용할 것을 주장하는 것.

제안 방법

• 15개의 다양한 언어를 대상으로 210개의 언어 쌍을 포함하는 대규모 BLI 평가를 수행하여 비지도 학습과 약한 지도 학습 CLWE 방법을 비교하였다.
• 비지도 학습 및 약한 지도 학습 환경에서 동일한 자기 학습 절차(C2)와 사전/사후 처리 단계(C3)를 사용하여 시드 사전 확보 방식의 영향을 격리하였다.
• 비지도 학습 방법은 시드 사전 추출을 위해 위상 유사도를 사용하였고(참고: C1), 약한 지도 학습 방법은 500~1,000개의 번역 쌍으로 구성된 수작업으로 정제된 시드 사전을 사용하였다.
• 강건성을 향상시키기 위해 단위 길이 정규화, 평균 중심화, (탈)백색화와 같은 표준 CLWE 기법을 적용하였다.
• 형태학적 거리와 도메인 유사도가 다른 언어 쌍 간의 성능을 비교하였다.
• 결과를 검증하기 위해 표준 MUSE BLI 테스트 세트를 3개의 언어 쌍에 대해 사용하였다.

실험 결과

연구 질문

• RQ1 완전히 비지도 학습 CLWE 방법이 이중어사전 유도 작업에서 약한 지도 학습 방법에 비해 뛰어나거나 적어도 경쟁 가능한 성능을 내는가?
• RQ2 비지도 학습 CLWE 방법이 거리가 먼, 형태학적으로 이질적인 언어 쌍에 적용되었을 때 얼마나 강건한가?
• RQ3 비지도 학습 CLWE의 성공이 지도 학습의 부재가 아니라 자기 학습 및 사전 처리 구성 요소에 기반하는 정도는 어느 정도인가?
• RQ4 500~1,000개의 시드 쌍만을 사용하는 약한 지도 학습 CLWE 방법이 도메인 불일치가 있는 언어 쌍을 포함한 모든 언어 쌍에서 비지도 학습 방법을 능가할 수 있는가?
• RQ5 완전히 비지도 학습 CLWE에 명확한 사용 사례가 있는가, 아니면 그 핵심 구성 요소들이 약한 지도 학습 환경으로 효과적으로 이식될 수 있는가?

주요 결과

• 완전히 비지도 학습 CLWE 방법은 210개 언어 쌍 중 87개에서 의미 있는 성능을 내지 못했으며, BLI 성능이 거의 0에 가까웠다.
• 성공한 경우조차도 비지도 학습 CLWE 방법은 500~1,000개의 시드 번역 쌍만을 사용하는 약한 지도 학습 방법의 성능을 초월하지 못했다.
• 자기 학습 절차(C2)와 사전/사후 처리(C3) 구성 요소가 비지도 학습 방법의 강건성을 결정지었으며, 이는 지도 학습의 부재 때문이 아니었다.
• 500~1,000개의 시드 쌍을 사용하는 약한 지도 학습 방법은 모든 210개 언어 쌍에서 일관되게 높은 성능을 보였으며, 실패한 경우가 없었다.
• 비지도 학습 CLWE 방법은 단어 벡터가 도메인 불일치하는 코퍼스에서 학습된 경우 완전히 실패했으며, 이는 데이터 분포에 매우 민감함을 보여주었다.
• 본 연구에서 가장 높은 성능을 보인 방법인 FULL+SL+SYM은 대칭적인 최근접 이웃 필터링을 적용한 소규모 시드 사전을 사용하였으며, 이는 시드 어휘의 노이즈 제거가 완전한 비지도 학습보다 더 효과적임을 시사한다.