[논문 리뷰] Bilingual Lexicon Induction with Semi-supervision in Non-Isometric Embedding Spaces

Barun Patra, Joel Ruben Antony Moniz외 3명|arXiv (Cornell University)|2019. 08. 19.

Natural Language Processing Techniques참고 문헌 25인용 수 5

한 줄 요약

이 논문은 이질적 어원을 가진 언어 쌍에서 등각성 가정이 실패하는 상황에서도 효과적으로 작동하도록, 임베딩 공간 간의 직교 매핑에 대한 강한 등각성 가정을 완화하기 위해 새로운 허브니스 필터링 기법과 감독된 정렬, 비감독적 분포 매칭, 백트랜스레이션 손실의 공동 최적화를 사용하는 준감독형 이중어사전 유도 방법 BLISS를 제안한다. BLISS는 MUSE 벤치마크의 18개 언어 쌍 중 15개에서 최신 기준 성능(SOTA)을 달성하며, 특히 등각성 가정이 실패하는 어원적으로 거리가 먼 언어 쌍에서 뛰어난 성능을 보인다.

ABSTRACT

Recent work on bilingual lexicon induction (BLI) has frequently depended either on aligned bilingual lexicons or on distribution matching, often with an assumption about the isometry of the two spaces. We propose a technique to quantitatively estimate this assumption of the isometry between two embedding spaces and empirically show that this assumption weakens as the languages in question become increasingly etymologically distant. We then propose Bilingual Lexicon Induction with Semi-Supervision (BLISS) --- a semi-supervised approach that relaxes the isometric assumption while leveraging both limited aligned bilingual lexicons and a larger set of unaligned word embeddings, as well as a novel hubness filtering technique. Our proposed method obtains state of the art results on 15 of 18 language pairs on the MUSE dataset, and does particularly well when the embedding spaces don't appear to be isometric. In addition, we also show that adding supervision stabilizes the learning procedure, and is effective even with minimal supervision.

연구 동기 및 목표

• 이중어사전 임베딩 공간 간의 직교 매핑에 기반한 등각성 가정의 타당성을 조사한다.
• 특히 언어 간 어원적·형태학적 거리가 클 경우 발생하는 순수 감독 및 비감독 BLI 방법의 한계를 해결한다.
• 제한된 정렬된 어휘 사전과 대규모 비정렬 임베딩을 활용하여 강건성과 성능을 향상시키는 준감독 프레임워크를 개발한다.
• Gromov-Hausdorff 거리 측정을 통해 비등각성 임베딩 공간에서의 등각성 실패를 정량적으로 분석하고 실증적으로 검증한다.
• 최소한의 감독 정보가 학습 안정성과 수렴성에 미치는 영향을 분석하며, 특히 임베딩 품질이 낮거나 공간 간 거리가 클 경우에 초점을 맞춘다.

제안 방법

• Vietoris-Rips 필터링의 지속성 다이어그램 간 Bottleneck 거리 근사치를 활용해 Gromov-Hausdorff(GH) 거리를 사용한 등각성 평가의 새로운 정량적 방법을 제안한다.
• 감독된 임베딩 정렬, CSLS를 통한 비감독적 분포 매칭, 약한 직교성 조건을 강제하는 백트랜스레이션 손실을 공동 최적화하는 BLISS라는 준감독 프레임워크를 도입한다.
• 임베딩 공간 내 고도수 이웃의 영향을 줄이기 위해 새로운 허브니스 필터링 기법을 적용하여 최근접 이웃 검색의 신뢰도를 향상시킨다.
• 사전에 설정된 β 값에 민감한 기존 방법과 달리, 데이터 기반 방식으로 직교성 정도를 탄력적으로 제어할 수 있는 자동에코딩 손실을 사용한다.
• GAN 기반 학습 설정에서 생성망의 초기화로 평균 중심화 및 항등 또는 무작위 직교 행렬을 사용한다.
• 판별망과 생성망을 갖춘 GAN 기반 학습 절차를 적용하며, 특징 함수로 코사인 유사도를 사용하고, 허브니스 임계값으로 20을 설정한다.

실험 결과

연구 질문

• RQ1 어원적으로 거리가 먼 언어 쌍에서 이중어사전 임베딩 공간 간의 등각성 가정이 얼마나 심각하게 붕괴되는가?
• RQ2 등각성 가정이 위반될 경우 준감독 접근법이 이중어사전 유도 성능을 향상시킬 수 있는가?
• RQ3 최소한의 감독 정보가 자원이 적거나 변동성이 큰 환경에서 BLI 모델의 안정성과 수렴성에 어떤 영향을 미치는가?
• RQ4 허브니스 필터링이 다의어 및 반의어 유형의 어휘 유사도 오류를 상당히 줄일 수 있는가?
• RQ5 자동에코딩 손실을 통한 데이터 기반 직교성 제약이 고정된 β-프로젝션 방법보다 강건성과 성능 면에서 뛰어나게 성능을 내는가?

주요 결과

• BLISS는 MUSE 벤치마크의 18개 언어 쌍 중 15개에서 최신 기준 성능(SOTA)을 달성하며, 특히 en-zh 및 en-ru와 같은 어원적으로 거리가 먼 쌍에서 뚜렷한 성과 향상을 보였다.
• Gromov-Hausdorff 거리 분석 결과, en-zh 쌍의 경우 GH 거리가 171.1, en-ru 쌍의 경우 102.5로 등각성이 심각하게 붕괴됨을 확인하였다.
• 조금만 정렬된 어휘 사전(시드 딕셔너리)을 추가해도 학습이 안정화되고, 비감독 기반 베이스라인에서 실패하는 경우에도 수렴 가능해졌으며, 특히 임베딩 품질이 낮을 경우에 두드러졌다.
• BLISS의 자동에코딩 손실은 β 값에 대한 정교한 튜닝이 필요 없이 다양한 언어 쌍에서 일관된 성능을 보였으며, 이는 β-프로젝션 방법이 β 값에 매우 민감한 것과 대비된다.
• 오류 분석 결과 다의어와 반의어가 주요 오류 원인임을 확인했지만, BLISS는 허브니스 필터링과 공동 최적화를 통해 개선된 이웃 선택을 통해 이러한 오류를 감소시켰다.
• 동일한 수준의 감독 정보를 사용할 경우, BLISS는 감독 및 비감독 기반 베이스라인 모두를 능가하며, 약한 감독과 비감독적 분포 매칭을 융합한 방법의 효과성을 입증하였다.