[논문 리뷰] Filtered Inner Product Projection for Crosslingual Embedding Alignment

Vin Sachidananda, Ziyi Yang외 1명|arXiv (Cornell University)|2020. 06. 05.

Topic Modeling참고 문헌 61인용 수 8

한 줄 요약

이 논문은 교차 언어 임베딩 정렬을 위한 새로운 방법인 필터링된 내적 투사(FIPP)를 제안한다. 이 방법은 원본 언어와 대상 언어 임베딩 간의 공통 기하학적 구조를 유지하기 위해, 유사한 상호-임베딩 거리를 가진 단어 쌍의 집합에 대해 그램 행렬을 정렬함으로써 작동한다. FIPP는 XLING(1K 및 5K) 이중어사전 유도 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 프로크루스테스와 CSLS와 같은 이전 방법들을 능가하는 동시에 계산 효율성이 뛰어나다.

ABSTRACT

Due to widespread interest in machine translation and transfer learning, there are numerous algorithms for mapping multiple embeddings to a shared representation space. Recently, these algorithms have been studied in the setting of bilingual dictionary induction where one seeks to align the embeddings of a source and a target language such that translated word pairs lie close to one another in a common representation space. In this paper, we propose a method, Filtered Inner Product Projection (FIPP), for mapping embeddings to a common representation space and evaluate FIPP in the context of bilingual dictionary induction. As semantic shifts are pervasive across languages and domains, FIPP first identifies the common geometric structure in both embeddings and then, only on the common structure, aligns the Gram matrices of these embeddings. Unlike previous approaches, FIPP is applicable even when the source and target embeddings are of differing dimensionalities. We show that our approach outperforms existing methods on the MUSE dataset for various language pairs. Furthermore, FIPP provides computational benefits both in ease of implementation and scalability.

연구 동기 및 목표

• 원본 및 대상 언어 임베딩의 차원 수가 다를 경우 교차 언어 단어 임베딩 정렬 문제를 해결하기 위해.
• 기존 임베딩 정렬 방법에서 쌍별 거리 관계를 왜곡시키는 언어 간 의미 이동의 영향을 줄이기 위해.
• 시드 사전에 과적합되지 않도록 원본 임베딩의 내재 기하학적 구조를 유지하기 위해.
• 기존 방법보다 더 빠르고 간편하게 구현할 수 있는 계산 효율성이 뛰어난 방법을 개발하기 위해.

제안 방법

• FIPP는 원본 임베딩 $\mathfrak{X}_s \in \mathbb{R}^{n \times d_1}$ 를 원본의 그램 행렬 구조를 유지하는 투사 방법을 사용하여 대상 공간 $\mathbb{R}^{d_2}$ 로 매핑한다.
• 원본 및 대상 임베딩에서의 쌍별 거리가 유사한 단어 쌍의 필터링된 집합 $K$ 를 식별하며, 이는 $|X_s X_s^T - X_t X_t^T|_{ij} \leq \epsilon$ 로 정의된다.
• 원본 임베딩의 구조 유사성을 유지하기 위해 재구성 손실 $\|\tilde{X}_s \tilde{X}_s^T - X_s X_s^T\|_F^2$ 를 최소화한다.
• 공유 공간에서의 거리 정렬을 위해 필터링된 집합 $K$ 에서 전이 손실 $\sum_{(i,j)\in K} (\tilde{X}_s[i]\tilde{X}_s[j]^T - X_t[i]X_t[j]^T)^2$ 를 추가로 최소화한다.
• 재구성 손실과 전이 손실을 동시에 최적화함으로써 $d_1 \neq d_2$ 인 경우에도 정렬이 가능해진다.
• FIPP는 투사에 대해 닫힌 형태의 해를 사용하여 반복 최적화 방법보다 더 빠르고 단순한 구현이 가능하다.

실험 결과

연구 질문

• RQ1 교차 언어 임베딩에서 공유 기하학적 구조에 초점을 맞춘 방법이 표준 거리 최소화 접근법보다 이중어사전 유도에서 더 우수한 성능을 내는가?
• RQ2 유사한 상호-임베딩 거리를 가진 단어 쌍을 필터링하는 것이 의미 이동에 의한 영향을 줄이고 정렬의 강건성을 향상시키는가?
• RQ3 FIPP가 높은 정렬 정확도를 달성하면서도 원본 임베딩의 구조적 충실도를 어느 정도 유지할 수 있는가?
• RQ4 FIPP가 Procrustes 및 CSLS와 같은 기존 방법보다 작은 시드 사전 설정과 큰 시드 사전 설정 모두에서 더 뛰어난 성능을 내는가?
• RQ5 FIPP는 이전 최신 기술 수준의 정렬 방법보다 계산적으로 더 효율적인가?

주요 결과

• FIPP는 CSLS 검색 기반으로 XLING 5K BLI 데이터셋에서 평균 정밀도(MAP) 0.473을 달성하여, Procrustes(0.454)와 이전 최신 기술 수준 방법들을 능가한다.
• XLING 1K BLI 데이터셋에서는 CSLS 기반으로 MAP 0.387을 기록하여 Procrustes(0.350)를 초월하며, 더 뛰어난 일반화 능력을 보였다.
• FIPP는 저자원 언어 및 형태학적으로 복잡한 언어를 포함한 다양한 언어 쌍에서 뛰어난 성능을 보이며, 기준 방법 대비 일관된 성능 향상을 보였다.
• 1K 및 5K 시드 사전 설정 모두에서 최신 기술 수준 성능을 달성하여 강력한 확장성과 일반화 능력을 입증했다.
• 반복 최적화 방법과 비교해 닫힌 형태의 해를 사용함으로써 FIPP는 더 빠르고 간편하게 구현 가능했으며, 성능을 희생시키지 않은 채 계산적 이점을 확보했다.
• CSLS를 검색 기준으로 사용할 경우 FIPP와 Procrustes 양쪽 모두 성능 향상이 두드러졌으며, FIPP는 5K 데이터셋에서 최근접 이웃(Nearest Neighbors) 대비 0.031의 성능 향상을 보였다.