[논문 리뷰] Cross-Lingual BERT Contextual Embedding Space Mapping with Isotropic and Isometric Conditions

Haoran Xu, Philipp Koehn|arXiv (Cornell University)|2021. 07. 19.

Topic Modeling참고 문헌 29인용 수 5

한 줄 요약

이 논문은 병렬 코퍼스를 활용하여 언어 간 공간의 등장성(이sovomorphism)을 향상시키는 BERT 기반의 문맥 인식형, 사전 기반 없이 교차 언어 맵핑 방법을 제안한다. 반복적 정규화를 도입하여 등방성과 등장성을 강제하고, 유형 수준의 표현을 의미 수준의 표현으로 분할함으로써, 이중어사전 유도(BDI) 과제에서 최신 기술을 초월하는 성능을 달성한다. 이는 이전의 다국어 단어 임베딩 방법보다 최대 1%의 정확도 향상을 기록한다.

ABSTRACT

Typically, a linearly orthogonal transformation mapping is learned by aligning static type-level embeddings to build a shared semantic space. In view of the analysis that contextual embeddings contain richer semantic features, we investigate a context-aware and dictionary-free mapping approach by leveraging parallel corpora. We illustrate that our contextual embedding space mapping significantly outperforms previous multilingual word embedding methods on the bilingual dictionary induction (BDI) task by providing a higher degree of isomorphism. To improve the quality of mapping, we also explore sense-level embeddings that are split from type-level representations, which can align spaces in a finer resolution and yield more precise mapping. Moreover, we reveal that contextual embedding spaces suffer from their natural properties -- anisotropy and anisometry. To mitigate these two problems, we introduce the iterative normalization algorithm as an imperative preprocessing step. Our findings unfold the tight relationship between isotropy, isometry, and isomorphism in normalized contextual embedding spaces.

연구 동기 및 목표

• 은밀한, 선형 맵핑 방법을 개발하여 다국어 BERT의 문맥 임베딩을 황금 표준 이중어사전에 의존하지 않고 교차 언어로 매핑한다.
• 병역 코퍼스를 활용하여 다국어 BERT의 문맥 임베딩이 언어 간에 어떻게 정렬될 수 있는지 연구하여 임베딩 공간의 등장성 향상에 기여한다.
• 문맥 임베딩 내재 문제인 비등방성과 비등장성으로 인해 맵핑 품질이 떨어지는 문제를 해결한다.
• 표현 편향을 줄이기 위해 유형 수준 표현의 더 세분화된 대안으로 의미 수준 표현을 탐색한다.
• 등방성과 등장성이 교차 언어 공간 맵핑 품질에 미치는 영향을 평가하고, 정규화 기법을 통해 그 중요성을 입증한다.

제안 방법

• 병역 단어 번역 쌍을 학습 맵핑 행렬을 위해 은밀한 표준 단어 번역 쌍으로 추출하기 위해 병렬 단어 코퍼스를 활용한다.
• 병역 문장 내에 있는 정렬된 단어 쌍의 모든 발생에 대한 BERT 표현을 평균하여 유형 수준의 문맥 임베딩을 구성한다.
• 클러스터링 또는 어텐션 메커니즘을 활용하여 유형 수준의 표현을 의미 수준 표현으로 적응적으로 분할하여 다의어성을 포착한다.
• 반복적 정규화(IN)를 적용하여 비등방성을 줄이고 언어 간 공간에서의 등장성을 향상시키며 균형 잡힌 벡터 분포를 확보한다.
• Frobenius 노름 최소화를 통해 선형 변환 행렬 W를 학습한다: $\hat{W} = \arg\min_W \|WX - Y\|_F$, 여기서 X와 Y는 정렬된 단어 쌍의 임베딩 행렬이다.
• BDI 벤치마크에서 평가를 위해 CSLS 메트릭을 사용하여 P@1 및 P@5 점수를 계산한다.

실험 결과

연구 질문

• RQ1 다국어 BERT 임베딩의 문맥 인식형, 사전 기반 없는 맵핑이 이중어사전 유도(BDI) 과제에서 정적 다국어 단어 임베딩 방법을 초월할 수 있는가?
• RQ2 유형 수준의 표현을 의미 수준 표현으로 분할하면 교차 언어 맵핑의 등장성과 정확도가 향상되는가?
• RQ3 문맥 임베딩 공간 내 비등방성과 비등장성이 맵핑 성능을 얼마나 떨어뜨리며, 이를 완화할 수 있는가?
• RQ4 반복적 정규화를 통해 등방성과 등장성을 강제하면 교차 언어 임베딩 정렬 품질에 어떤 영향을 미치는가?
• RQ5 정규화된 문맥 임베딩 공간에서 등장성, 등방성, 등장성 간에 측정 가능한 관계가 존재하는가?

주요 결과

• 의미 수준 표현을 사용함으로써 유형 수준 표현보다 BDI 정확도가 1% 향상되었으며, 이는 더 높은 수준의 등장성을 나타낸다.
• 반복적 정규화는 비등방성을 크게 줄이고 등장성을 향상시켜 언어 간 맵핑 품질을 향상시킨다. 등방성 점수는 거의 0에 수렴한다.
• 반복적 정규화 후 등장성에 대한 RS(상대 유사도) 점수가 상승하며, 이는 BDI 과제에서 P@1 및 P@5 결과 향상과 상관관계를 보인다.
• 의미 수준 표현은 맵핑 정확도에서 유형 수준 표현을 능가한다. 예를 들어, 'bank' → 'bank'의 경우, 맵핑된 벡터와 올바른 독일어 번역 간 코사인 유사도가 높다(0.6891 vs. 0.6868).
• 이 방법은 등방성과 등장성이 교차 언어 맵핑에서 핵심 요소임을 입증하며, 반복적 정규화를 통한 최적화가 임베딩 공간 정렬의 일관성과 정확성을 높인다.