[논문 리뷰] Zero-Shot Cross-Lingual Dependency Parsing through Contextual Embedding Transformation

Haoran Xu, Philipp Koehn|arXiv (Cornell University)|2021. 03. 03.

Topic Modeling참고 문헌 26인용 수 4

한 줄 요약

이 논문은 감정 수준의 문맥적 임베딩 변환을 사용하여 제로샷 다국어 의존 관계 분석 방법을 제안한다. 은밀하게 정렬된 병렬 문장과 반복적 정규화를 활용하여 이방성 문제를 완화한다. Universal Dependencies 2.6에서 최신 기술보다 뛰어난 성능을 기록하며, UAS와 LAS 모두 유의미한 향상을 이룬다. 이는 k-means 클러스터링과 직교 Procrustes 정렬을 통해 다의어 표현을 감정 수준의 표현으로 매핑함으로써 달성된다.

ABSTRACT

Linear embedding transformation has been shown to be effective for zero-shot cross-lingual transfer tasks and achieve surprisingly promising results. However, cross-lingual embedding space mapping is usually studied in static word-level embeddings, where a space transformation is derived by aligning representations of translation pairs that are referred from dictionaries. We move further from this line and investigate a contextual embedding alignment approach which is sense-level and dictionary-free. To enhance the quality of the mapping, we also provide a deep view of properties of contextual embeddings, i.e., anisotropy problem and its solution. Experiments on zero-shot dependency parsing through the concept-shared space built by our embedding transformation substantially outperform state-of-the-art methods using multilingual embeddings.

연구 동기 및 목표

• 정적 단어 수준 임베딩을 넘어서 감정 수준의 문맥적 표현으로의 이동을 통해 제로샷 다국어 의존 관계 분석을 향상시키기 위해.
• 골드 사전에 의존하지 않도록 병렬 문장에서 유도된 은밀하게 정렬된 토큰 쌍을 사용하기 위해.
• 문맥적 임베딩의 이방성 문제로 인한 제로샷 전이 성능 저하를 해결하기 위해.
• 변환 전에 다의어 단어 표현을 감정 수준의 표현으로 클러스터링하여 매핑 정밀도를 향상시키기 위해.
• 다국어 BERT와 선형 변환을 사용하여 제로샷 의존 관계 분석에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 병렬 단일 언어 코퍼스에서 은밀하게 정렬된 토큰 쌍을 추출하기 위해 Fast Align을 사용한다.
• 모든 언어에 대해 단일 언어 BERT 모델을 적용하여 소스 및 타겟 언어의 문맥적 임베딩을 취득한다.
• 각 단어 유형에 대해 타겟 쪽 문맥적 임베딩에 k-means 클러스터링을 적용하여 감정 수준 표현을 유도한다.
• 정렬된 소스 쪽 임베딩을 사용하여 동시에 소스 쪽에서도 감정 수준 표현을 형성한다.
• 변환 전에 문맥적 임베딩의 이방성을 줄이기 위해 반복적 정규화(Iterative Normalization, IN)를 적용한다.
• 소스 및 타겟 공간을 정렬하기 위해 감정 수준 임베딩 쌍에 대한 Procrustes 회전을 통해 선형 변환 행렬을 유도한다.

실험 결과

연구 질문

• RQ1 감정 수준의 문맥적 임베딩 정렬이 제로샷 다국어 의존 관계 분석에서 단어 수준 정렬보다 우월한가?
• RQ2 은밀하게 정렬된 병렬 데이터를 사용하는 사전이 없는 접근 방식이 골드 사전에 의존하는 방법보다 성능이 뛰어나지 않는가?
• RQ3 문맥적 임베딩의 이방성을 완화하면 제로샷 전이 성능이 얼마나 향상되는가?
• RQ4 문맥적 임베딩의 k-means 클러스터링이 다의어 표현을 효과적으로 분리하여 매핑 성능을 향상시킬 수 있는가?
• RQ5 표준 벤치마크에서 다국어 fastText와 mBERT를 사용한 최신 기술과 비교해 본 결과, 제안된 방법은 어떻게 다른가?

주요 결과

• 제안된 감정 수준 임베딩 변환 방법은 모든 제로샷 다국어 의존 관계 분석 평가에서 단어 수준 매핑보다 더 높은 UAS와 LAS 점수를 기록한다.
• 이 방법은 Universal Dependencies 2.6에서 다국어 fastText와 mBERT를 사용한 최신 기술보다 뛰어난 성능을 기록한다.
• 반복적 정규화는 문맥적 임베딩의 이방성을 유의미하게 감소시켜 선형 변환의 품질을 향상시킨다.
• 감정 수준의 클러스터링은 서로 다른 단어 의미를 별개의 벡터 클러스터로 분리함으로써 매핑 정밀도를 향상시킨다.
• Fast Align과 병렬 코퍼스를 사용하는 사전이 없는 접근 방식은 골드 이중어사전이 없이도 뛰어난 성능을 달성한다.
• 다양한 언어 쌍에 걸쳐 일관된 성능 향상을 보이며, 제로샷 환경에서의 강력한 일반화 능력을 입증한다.