[논문 리뷰] LNMap: Departures from Isomorphic Assumption in Bilingual Lexicon Induction Through Non-Linear Mapping in Latent Space

Tasnim Mohiuddin, M Saiful Bari외 1명|arXiv (Cornell University)|2020. 04. 28.

Natural Language Processing Techniques인용 수 4

한 줄 요약

LNMap는 독립적으로 훈련된 오토인코더의 잠재공간에서 비선형 매핑을 학습함으로써 이소모픽 가정을 회피하는 준지도 학습형 다국어 단어 임베딩 방법을 제안한다. 이는 낮은 자원과 거리가 먼 언어 쌍에서 특히 뛰어난 성능을 기록하며, 단지 1,000개의 시드 쌍만으로도 이전의 지도 학습 방법보다 18%p의 절대적 향상을 달성한다.

ABSTRACT

Most of the successful and predominant methods for bilingual lexicon induction (BLI) are mapping-based, where a linear mapping function is learned with the assumption that the word embedding spaces of different languages exhibit similar geometric structures (i.e., approximately isomorphic). However, several recent studies have criticized this simplified assumption showing that it does not hold in general even for closely related languages. In this work, we propose a novel semi-supervised method to learn cross-lingual word embeddings for BLI. Our model is independent of the isomorphic assumption and uses nonlinear mapping in the latent space of two independently trained auto-encoders. Through extensive experiments on fifteen (15) different language pairs (in both directions) comprising resource-rich and low-resource languages from two different datasets, we demonstrate that our method outperforms existing models by a good margin. Ablation studies show the importance of different model components and the necessity of non-linear mapping.

연구 동기 및 목표

• 이sovomic 기하학적 구조가 언어 임베딩 공간 간에 동일하다는 가정을 내포하는 선형 매핑 방법의 한계를 해결하기 위해.
• 특히 저자원 및 어원적으로 거리가 먼 언어에 대해 분포 불일치 문제에 강건한 방법을 개발하기 위해.
• 직교성 또는 이소모픽성과 같은 강력한 가정에 의존하는 것을 줄이고, 잠재공간에서의 민감한 비선형 변환을 가능하게 하기 위해.
• 재구성 및 백트랜스레이션 제약에 의해 이끌리는 잠재공간 내 비선형 매핑이 선형 또는 프로크루스테스 기반 방법보다 우수한 정렬 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• LNMap는 각 언어의 단어 임베딩에 대해 독립적으로 비선형 오토인코더를 훈련시켜 잠재 코드 표현을 분리하여 학습한다.
• 작은 시드 사전을 사용하여 두 언어의 잠재 코드 간 비선형 매핑을 학습함으로써 선형 또는 직교 제약을 피한다.
• 백트랜스레이션(잠재공간을 통한 목표 언어에서 원천 언어로의 매핑)과 원본 임베딩 재구성이라는 보조 제약 조건을 강제 적용하여 의미의 정밀도를 유지한다.
• 재구성, 백트랜스레이션, 정렬 손실를 포함하는 병합된 손실 함수를 사용하여 비선형 매핑기를 종합적으로 훈련한다.
• 준지도 학습 방식으로, 풍부한 의미 정보를 단어 임베딩의 독립적 사전 훈련에서 활용하면서 단지 1,000개의 시드 쌍만으로도 지도를 받는다.
• 제거 실험에서는 비선형 오토인코더와 매핑기의 선형 대비 비선형 성능을 비교하여, 저자원 및 거리가 먼 언어 쌍에서 비선형성의 중요성을 입증한다.

실험 결과

연구 질문

• RQ1 교차언어 단어 임베딩 학습에서 이소모픽 가정을 완화하면 저자원 및 거리가 먼 언어 쌍에서 성능 향상이 이루어지는가?
• RQ2 오토인코더의 잠재공간에서 비선형 매핑이 선형 또는 프로크루스테스 기반 방법보다 이중어휘 유도에서 더 나은 성능을 내는가?
• RQ3 재구성과 백트랜스레이션 제약 조건이 학습된 교차언어 매핑의 강건성과 정확도에 기여하는 방식은 무엇인가?
• RQ4 비선형 매핑의 성능 향상 효과가 저자원 또는 고자원 언어 설정에서 더 두드러지는가?
• RQ5 비선형 오토인코더와 비선형 매핑기 중 전체 프레임워크에서 어떤 것이 더 큰 기여를 하는가?

주요 결과

• LNMap는 단지 1,000개의 시드 쌍만을 사용하여 저자원 언어 쌍에서 최신 기술의 지도 학습 방법(Joulin et al., 2018)보다 평균 18%p의 절대적 향상을 달성한다.
• 저자원 언어 쌍에서는 LNMap가 대부분의 번역 작업에서 가장 강력한 비지도 학습 방법(Artetxe et al., 2018b)을 능가한다.
• 제거 실험 결과 재구성 손실이 저자원 언어에서 가장 핵심적인 역할을 하며, 이를 제거할 경우 정확도가 6.4%p 감소한다.
• 비선형 매핑기를 선형 매핑기로 대체하면 성능 저하가 심해지며, 특히 저자원 쌍에서 이는 비선형성의 필수성을 확인한다.
• 고자원 언어에서는 선형 오토인코더가 비선형 오토인코더를 능가하지만, 저자원 언어에서는 반대로 비선형 오토인코더가 더 우수하여 서로 다른 표현적 요구를 반영한다.
• 백트랜스레이션과 재구성 손실의 상호보완적 효과가 검증되었으며, 둘 다 정렬 품질과 강건성에 기여한다.