[논문 리뷰] Multilingual Universal Sentence Encoder for Semantic Retrieval

Yinfei Yang, Daniel Cer외 10명|arXiv (Cornell University)|2019. 07. 09.

Topic Modeling참고 문헌 13인용 수 67

한 줄 요약

논문은 두 개의 다국어 문장 인코더(Transformer와 CNN)를 제시한다. 16개 언어를 공유 의미 공간으로 매핑하는 다중 작업 이중 인코더를 사용하여 의미 검색, 병렬 텍스트 검색, 검색 기반 QA에서 경쟁력 있는 결과를 달성하고 TensorFlow Hub에서 공개되었다.

ABSTRACT

We introduce two pre-trained retrieval focused multilingual sentence encoding models, respectively based on the Transformer and CNN model architectures. The models embed text from 16 languages into a single semantic space using a multi-task trained dual-encoder that learns tied representations using translation based bridge tasks (Chidambaram al., 2018). The models provide performance that is competitive with the state-of-the-art on: semantic retrieval (SR), translation pair bitext retrieval (BR) and retrieval question answering (ReQA). On English transfer learning tasks, our sentence-level embeddings approach, and in some cases exceed, the performance of monolingual, English only, sentence embedding models. Our models are made available for download on TensorFlow Hub.

연구 동기 및 목표

• 16개 언어를 하나의 의미 공간에 임베딩하여 다국어 의미 유사성을 가능하게 한다.
• 브리지 태스크를 포함한 다중 작업 이중 인코더 프레임워크를 사용한 검색 중심 인코더를 개발한다.
• SR, BR, 및 ReQA 작업에 적합한 효율적이고 전달 가능한 문장 임베딩을 제공한다.
• 영어 작업으로의 전달 성능 및 다언어 간 검색 시나리오에 대한 전달 성능을 평가한다.

제안 방법

• 두 다국어 인코더(Transformer와 CNN)가 문장을 공유 공간으로 매핑한다.
• 질문-답변 예측, 번역 순위, 자연어 추론 태스크를 포함한 다중 작업 이중 인코더 학습.
• SentencePiece 부분어 토큰화와 16개 언어에 걸친 공유 128k 어휘를 사용한다.
• 영역별 언어의 균형을 맞추기 위해 QA 쌍, 번역 쌍, SNLI, MultiNLI 및 번역된 데이터를 사용해 학습 데이터를 구성한다.
• QA 변형 USE QA Trans+Cxt는 맥락 인식 검색을 위한 변형으로 CNN 및 Transformer 인코더를 사용한다.

실험 결과

연구 질문

• RQ1 다국어 이중 인코더가 16개 언어를 단일 의미 공간에 임베딩하여 검색 작업에 적합하게 만들 수 있는가?
• RQ2 다국어 설정에서 Transformer 대 CNN 아키텍처의 의미 검색, 비트텍스트 검색, ReQA 성능 차이는 어떠한가?
• RQ3 교차 언어 검색 접근 방식이 많은 언어 쌍에서 단일 언어 성능에 근접할 수 있는가?
• RQ4 영어 작업으로의 전달 학습은 단일 언어 영어 모델과 비교하여 어떤 차이를 보이는가?
• RQ5 다국어 설정에서 CNN과 Transformer 인코더 간의 자원(속도, 메모리) 트레이드오프는 어떻게 되는가?

주요 결과

• 다국어 Transformer와 CNN 인코더는 SR, BR, 및 ReQA 작업에서 최첨단 기준선에 비해 경쟁력 있는 성능을 달성한다.
• 모델은 교차 언어 의미 검색 및 교차 언어 ReQA를 지원하며, 많은 언어에서 단일 언어 성능에 근접한 결과를 보인다.
• SentencePiece는 16개 언어 전체에 걸쳐 높은 문자 커버리지를 가진 광범위한 언어 커버리지를 가능하게 한다; 영어 전달 작업은 단일 언어 모델에 비해 경쟁력 있는 결과를 보인다.
• Transformer는 대부분의 작업에서 CNN보다 우수한 경향이 있지만, CNN은 메모리 사용량이 더 낮고 특히 더 긴 텍스트에서 추론 속도가 빠르다.
• 모델은 문서와 Colab 노트북이 포함된 문서화와 함께 TensorFlow Hub를 통해 공개적으로 이용 가능하다.