[논문 리뷰] Improving Multilingual Sentence Embedding using Bi-directional Dual Encoder with Additive Margin Softmax

Yinfei Yang, Gustavo Hernández Ábrego외 7명|arXiv (Cornell University)|2019. 02. 22.

Topic Modeling참고 문헌 27인용 수 11

한 줄 요약

이 논문은 이중 방향 이중 인코더 모델에 추가 마진 소프트맥스를 도입하여 다국어 문장 임베딩을 향상시켜 비문 대조 검색을 개선한다. 임베딩 공간에서 긍정 쌍(번역된 문장)과 부정 쌍(비번역된 문장) 간의 마진을 강제로 적용함으로써, UN 평행 코퍼스에서 최신 기술 수준 성능(P@1 > 86%)을 달성하고, BERT 재순서 정렬과 조합할 경우 BUCC 마이닝 작업에서 새로운 최고 성능(F1 최대 97.24%)을 기록한다.

ABSTRACT

In this paper, we present an approach to learn multilingual sentence embeddings using a bi-directional dual-encoder with additive margin softmax. The embeddings are able to achieve state-of-the-art results on the United Nations (UN) parallel corpus retrieval task. In all the languages tested, the system achieves P@1 of 86% or higher. We use pairs retrieved by our approach to train NMT models that achieve similar performance to models trained on gold pairs. We explore simple document-level embeddings constructed by averaging our sentence embeddings. On the UN document-level retrieval task, document embeddings achieve around 97% on P@1 for all experimented language pairs. Lastly, we evaluate the proposed model on the BUCC mining task. The learned embeddings with raw cosine similarity scores achieve competitive results compared to current state-of-the-art models, and with a second-stage scorer we achieve a new state-of-the-art level on this task.

연구 동기 및 목표

• 새로운 훈련 목표를 통해 비문 대조 검색을 위한 다국어 문장 임베딩 품질을 향상시키기.
• 마진 제약을 통해 임베딩 공간을 안정화시켜 비지도 비문 마이닝에서 노이즈가 많은 매칭을 줄이기.
• 단일 언어 웹 데이터에서 고품질 평행 데이터 마이닝을 가능하게 하여 NMT 모델 훈련에 활용하기.
• 간단한 평균화를 통해 문장 수준 임베딩을 문서 수준 표현으로 확장하기.
• BERT 재순서 정렬을 사용한 이중 단계 접근 방식을 통해 BUCC 벤치마크에서 비문 마이닝 성능 향상시키기.

제안 방법

• 원천 및 대상 문장을 공유 다국어 임베딩 공간으로 매핑하기 위해 이중 방향 이중 인코더 아키텍처를 사용한다.
• 긍정(번역된) 및 부정(비번역된) 문장 쌍 간의 최소 각도 마진을 강제하기 위해 추가 마진 소프트맥스를 적용한다.
• 대칭성과 일반화를 향상시키기 위해 양방향(원천 → 대상 및 대상 → 원천)으로 마진을 적용한다.
• 계산량을 줄이면서도 성능를 유지하기 위해 단순화된 한 방향 마진 공식(Eq. 10)을 사용한다.
• 모델에서 문장 수준 임베딩을 평균화하여 문서 임베딩을 구성한다.
• 맥락 유사도 기반으로 후보 쌍을 재순서 정렬하기 위해 미세조정된 다국어 BERT 모델을 두 번째 단계 스코어러로 활용한다.

실험 결과

연구 질문

• RQ1 추가 마진 소프트맥스를 갖춘 이중 방향 이중 인코더는 비문 대조 검색을 위한 다국어 문장 임베딩 품질을 향상시킬 수 있는가?
• RQ2 마진 기반 훈련 목표는 임베딩 공간에서 진짜 번역 쌍의 클러스터가 더 조밀하고 분리 가능하게 만드는가?
• RQ3 결과로 도출된 문장 임베딩은 UN 평행 코퍼스 검색 작업에서 최신 기술 수준 성능을 달성할 수 있는가?
• RQ4 문장 임베딩에서 유도된 문서 수준 임베딩은 문서 수준 비문 마이닝에서 최고 성능을 충족하거나 초월할 수 있는가?
• RQ5 원시 임베딩과 BERT 재순서 정렬의 조합은 BUCC 비문 마이닝 벤치마크에서 새로운 최고 성능을 달성할 수 있는가?

주요 결과

• 모델은 테스트된 모든 언어에서 UN 평행 코퍼스에서 P@1가 86% 이상을 기록하여 최신 기술 수준 성능을 입증한다.
• 제안된 방법을 사용해 마이닝한 평행 데이터로 훈련된 NMT 모델은 골드 표준 비문 데이터로 훈련된 모델과 동등하거나 그 이상의 성능를 기록한다.
• 문장 수준 임베딩의 평균화로 구성된 문서 수준 임베딩은 UN 문서 수준 검색 작업에서 약 97%의 P@1를 달성한다.
• 모델의 원시 코사인 유사도 점수는 BUCC 작업에서 경쟁력 있는 성능를 기록하며, F1 점수 범위는 84.6에서 89.2까지이다.
• BERT 재순서 정렬을 적용한 결과, 모델은 BUCC에서 새로운 최고 성능을 달성했으며, F1 점수 범위는 ru-en의 93.38에서 de-en의 97.24까지이다.
• 실패 분석 결과, 수치나 실체가 다를 뿐이지만 의미적으로 유사한 문장 쌍에서는 모델이 어려움을 겪는 것으로 나타났으며, 이는 BERT 스코어러에 의해 효과적으로 보완된다.