[논문 리뷰] Unsupervised Cross-lingual Word Embedding by Multilingual Neural Language Models

Takashi Wada, Tomoharu Iwata|arXiv (Cornell University)|2018. 09. 07.

Topic Modeling참고 문헌 21인용 수 19

한 줄 요약

이 논문은 병렬 데이터 없이 다국어 간 단어 임베딩을 비지도 학습으로 학습할 수 있도록 공유된 양방향 LSTM을 다국어 간에 활용하는 다국어 신경망 언어 모델을 제안한다. 이는 병렬 데이터 없이 문장 수준의 구조를 공동으로 학습할 수 있게 하며, 저자원 환경에서 최신 기술 수준의 성능을 달성하고, 네 가지 언어를 공통의 의미 공간에 맵핑하여 이전의 비지도 모델을 뛰어넘고, 독일어-영어 대응 작업에서 지도 학습 기반 모델조차도 능가한다.

ABSTRACT

We propose an unsupervised method to obtain cross-lingual embeddings without any parallel data or pre-trained word embeddings. The proposed model, which we call multilingual neural language models, takes sentences of multiple languages as an input. The proposed model contains bidirectional LSTMs that perform as forward and backward language models, and these networks are shared among all the languages. The other parameters, i.e. word embeddings and linear transformation between hidden states and outputs, are specific to each language. The shared LSTMs can capture the common sentence structure among all languages. Accordingly, word embeddings of each language are mapped into a common latent space, making it possible to measure the similarity of words across multiple languages. We evaluate the quality of the cross-lingual word embeddings on a word alignment task. Our experiments demonstrate that our model can obtain cross-lingual embeddings of much higher quality than existing unsupervised models when only a small amount of monolingual data (i.e. 50k sentences) are available, or the domains of monolingual data are different across languages.

연구 동기 및 목표

• 병렬 데이터나 사전 학습된 임베딩이 필요 없이 비지도로 다국어 간 단어 임베딩을 학습하는 방법을 개발하는 것.
• 단어별로 독립된 데이터가 제한되거나 언어 간 도메인 불일치가 발생하는 저자원 환경에서의 강건성 향상.
• 공유된 문법적 및 의미적 구조를 포착함으로써 여러 언어 간 단어 임베딩의 공동 학습을 가능하게 하는 것.
• 이전 방법이 실패하는 바이오스와 영어와 같은 언어 간 거리가 먼 쌍(예: 핀란드어-영어)에서도 단어를 정렬할 수 있는 능력을 평가하는 것.
• 영어, 프랑스어, 독일어, 스페인어를 함께 훈련하여 사양 언어 단어 임베딩의 실현 가능성을 입증하는 것.

제안 방법

• 모델은 모든 언어 간에 공유된 양방향 LSTMs(전진 및 역방향)를 사용하여 문장 수준의 구조를 인코딩함으로써 다국어 간 정렬을 가능하게 한다.
• 단어 임베딩과 출력 투영 레이어는 언어별로 다르게 설정되지만, LSTMs의 파라미터는 공유되어 구조적 공통성을 강제한다.
• 모델은 복수의 언어에서의 단어별 문장 수준의 지도를 받는 언어 모델링 목표를 통해 엔드 투 엔드로 훈련된다.
• 공유된 LSTMs는 서로 다른 언어의 단어들을 공통의 잠재 공간으로 매핑하여 언어 간 의미 유사도 측정이 가능하게 한다.
• 문장 경계를 일관되게 모델링하기 위해 <BOS> 및 <EOS> 토큰을 공유된 임베딩과 선형 투영을 활용한다.
• 모델은 사전 학습이나 병렬 데이터를 요구하지 않으며, 오직 단어별 문장 수준의 지도만을 기반으로 한다.

실험 결과

연구 질문

• RQ1 병렬 데이터나 사전 학습된 임베딩이 전혀 없이도 다국어 신경망 언어 모델이 다국어 간 단어 임베딩을 학습할 수 있는가?
• RQ2 제한된 단어별 단일 언어 데이터(예: 5만 문장)가 있는 저자원 환경에서 모델의 성능은 어떠한가?
• RQ3 언어적 거리가 먼 쌍(예: 핀란드어-영어)에서도 도메인 불일치나 언어적 다양성이 높은 경우에 모델이 일반화 가능한가?
• RQ4 단일 비지도 모델을 사용하여 두 개 이상의 언어를 공통의 의미 공간에 함께 임베딩하는 것이 가능한가?
• RQ5 소량의 이중어 사전(예: 350개 단어 쌍)만 제공된 경우, 모델의 성능가 지도 학습 기반 모델과 비교해 볼 때 어떻게 되는가?

주요 결과

• 제안된 모델은 오직 5만 개의 단어별 단일 언어 문장만을 사용할 때도 기존의 모든 비지도 방법보다 단어 정렬 작업에서 승리하며, 특히 저자원 환경에서 뛰어난 성능을 보인다.
• 단지 이중어 사전에서 350개의 단어 쌍만을 사용해 훈련된 경우, 독일어-영어 단어 정렬 작업에서 지도 학습 기반 모델보다 더 좋은 결과를 달성한다.
• 다국어 간 정렬 작업에서, 도메인 불일치가 있는 경우인 핀란드어-영어 및 체코어-영어와 같은 거리가 먼 언어 쌍에서 이전의 비지도 모델보다 뚜렷이 뛰어난 성능을 보인다.
• 영어, 프랑스어, 독일어, 스페인어를 함께 훈련한 사양 언어 임베딩은 t-SNE 시각화와 단어 정렬 결과를 통해 동일한 단어들이 공통의 의미 공간에 맵핑됨을 보여준다.
• 사양 언어 임베딩의 t-SNE 시각화는 언어가 아닌 의미에 따라 클러스터링이 명확하게 이루어졌으며, 전치사, 관형사, 문장의 시작 어절들이 언어에 관계없이 의미 기반으로 별도의 클러스터를 이룬다.
• 모델은 단어별 단일 언어 데이터가 서로 다른 출처나 주제에서 온 도메인 이동 상황에서도 뛰어난 안정성과 성능을 보여준다.