[논문 리뷰] Cross-Lingual Alignment of Contextual Word Embeddings, with Applications to Zero-shot Dependency Parsing

Tal Schuster, Ori Ram외 2명|arXiv (Cornell University)|2019. 02. 25.

Topic Modeling참고 문헌 56인용 수 11

한 줄 요약

이 논문은 단일 언어의 문맥적 임베딩 공간에서 유도된 문맥에 의존하지 않는 앵커를 활용하여 문맥적 단어 임베딩의 다국어 간 정렬을 위한 새로운 방법을 제안한다. 이 앵커들을 双어 사전을 통해 정렬하고, 학습된 매핑을 문맥에 의존하는 임베딩에 적용함으로써, 효과적인 제로샷 및 희소샷 의존성 파싱을 가능하게 하여, 여섯 개 언어에서 이전 최고 성능 기준보다 평균 6.8 LAS 포인트 향상시킨다.

ABSTRACT

We introduce a novel method for multilingual transfer that utilizes deep contextual embeddings, pretrained in an unsupervised fashion. While contextual embeddings have been shown to yield richer representations of meaning compared to their static counterparts, aligning them poses a challenge due to their dynamic nature. To this end, we construct context-independent variants of the original monolingual spaces and utilize their mapping to derive an alignment for the context-dependent spaces. This mapping readily supports processing of a target language, improving transfer by context-aware embeddings. Our experimental results demonstrate the effectiveness of this approach for zero-shot and few-shot learning of dependency parsing. Specifically, our method consistently outperforms the previous state-of-the-art on 6 tested languages, yielding an improvement of 6.8 LAS points on average.

연구 동기 및 목표

• 다국어 간 전이를 위해 동적인, 문맥에 의존하는 문맥적 단어 임베딩을 정렬하는 데 도전하는 것.
• 문맥 임베딩을 활용하여 자원이 적은 환경에서 효과적인 제로샷 및 희소샷 의존성 파싱을 가능하게 하는 것.
• 이중어 사전이 있거나 없더라도 작동하며, 원시적인 단일 언어 데이터가 제한되어 있을 때에도 효과적인 방법을 개발하는 것.
• 문맥에 의존하지 않는 앵커를 활용하여 복잡한 문맥 민감 임베딩 공간을 정렬하는 데 보조 역할을 하여 전이 성능을 향상시키는 것.

제안 방법

• 문맥에 의존하지 않는 앵커와 문맥에 의존하는 구성요소로 문맥 임베딩 공간을 분해하여, 앵커 수준에서 정렬이 가능하도록 한다.
• 문맥에 의존하지 않는 앵커는 이중어 사전을 통해 선형 변환을 통해 정렬되며, 공동 최적화 목표를 통해 학습된다.
• 학습된 앵커 매핑을 활용하여 전체 문맥 임베딩 공간을 정렬하고, 문맥 인식 표현을 유지한다.
• 정규화 항을 포함한 손실 함수를 갖는 앵커 기반 언어 모델을 도입하여, 단일 언어 앵커를 공동 임베딩 공간에서 더 가까이 모은다.
• 감독 학습(사전 기반) 및 비감독 학습(합성 사전) 설정 모두에서 호환 가능하여 자원이 적은 상황에서의 강건성을 향상시킨다.
• 라벨이 없는 데이터나 품사 태그가 필요 없이도 목표 언어로의 전이를 지원하며, 단지 단일 언어 텍스트와 사전에 의존한다.

실험 결과

연구 질문

• RQ1 평행된 단일 언어 문장이 필요 없이도 문맥에 의존하는 문맥 임베딩을 다국어 간 효과적으로 정렬할 수 있는가?
• RQ2 문맥에 의존하지 않는 앵커를 사용할 경우 자원이 적은 환경에서 문맥 임베딩의 정렬이 어떻게 향상되는가?
• RQ3 제안된 방법이 이전 최고 성능 대비 제로샷 및 희소샷 의존성 파싱에서 얼마나 향상되는가?
• RQ4 언어 모델에서 정규화의 영향은 정렬 품질과 후속 파싱 성능에 어떤 영향을 미치는가?
• RQ5 자원이 제한된 언어에 대해서도 이 방법이 일반화 가능한가? 특히 품사 태그나 대규모 평행 코퍼스가 없을 경우에도 성능이 유지되는가?

주요 결과

• 제안된 방법은 여섯 개 언어에서 제로샷 다국어 간 의존성 파싱에서 이전 최고 성능 기준보다 평균 6.8 LAS 포인트 향상시켰다.
• 단지 38개 트리만 있는 카자흐스탄 트리뱅크에서, CoNLL 2018 공동 과제에서 기록된 최고 성능보다 LAS가 5.05 포인트 향상되었다.
• 비라벨링된 스페인어 데이터 1만 문장만으로도, 정규화가 적용된 앵커 기반 언어 모델을 사용할 경우 기준 모델 대비 9 LAS 포인트 향상되었다.
• 여섯 개 언어에서 fastText 임베딩보다 평균 3 LAS 포인트와 3 UAS 포인트 향상되었으며, 이는 문맥 인식 표현의 가치를 입증한다.
• 품사 태그나 이중어 사전이 없이도 모델은 경쟁적인 성능을 보였으며, 이러한 신호에 의존하는 문맥에 의존하지 않는 모델보다 뛰어난 성능을 보였다.
• 앵커의 사용은 효과적인 문맥 임베딩 정렬을 가능하게 하여, 자원이 적은 상황에서의 전이 성능을 크게 향상시켰다.