[논문 리뷰] Transformer based Multilingual document Embedding model

Wei Li, Brian Mak|arXiv (Cornell University)|2020. 08. 19.

Topic Modeling참고 문헌 22인용 수 4

한 줄 요약

이 논문은 LASER의 BiLSTM 인코더를 자기주의성 자기주도 트랜스포머 아키텍처로 대체하고, 교차 언어 정렬을 향상시키기 위해 새로운 거리 제약 손실을 도입한 트랜스포머 기반 다국어 문서 임베딩 모델인 cT-LASER을 제안한다. 이 모델은 더 빠른 훈련 속도를 기록하며, 특히 교차 언어 전이 작업에서 LASER와 표준 T-LASER를 크게 능가하며, 교차 언어 분류 벤치마크에서 LASER보다 7.2% 성능 향상을 달성한다.

ABSTRACT

One of the current state-of-the-art multilingual document embedding model LASER is based on the bidirectional LSTM neural machine translation model. This paper presents a transformer-based sentence/document embedding model, T-LASER, which makes three significant improvements. Firstly, the BiLSTM layers is replaced by the attention-based transformer layers, which is more capable of learning sequential patterns in longer texts. Secondly, due to the absence of recurrence, T-LASER enables faster parallel computations in the encoder to generate the text embedding. Thirdly, we augment the NMT translation loss function with an additional novel distance constraint loss. This distance constraint loss would further bring the embeddings of parallel sentences close together in the vector space; we call the T-LASER model trained with distance constraint, cT-LASER. Our cT-LASER model significantly outperforms both BiLSTM-based LASER and the simpler transformer-based T-LASER.

연구 동기 및 목표

• LASER의 BiLSTM 인코더를 트랜스포머 아키텍처로 대체하여 더 빠르고 효과적인 다국어 문서 임베딩 모델을 개발한다.
• 새로운 거리 제약 손실 함수를 도입하여 다국어 임베딩의 교차 언어 정렬을 향상시킨다.
• 통제된 훈련 조건 하에서 cT-LASER 모델의 성능을 다국어 및 双어 교차 언어 전이 작업에 대해 평가한다.
• 거리 제약 손실이 동일 언어 성능을 떨어뜨리지 않으면서도 교차 언어 성능을 향상시킨다는 것을 입증한다.

제안 방법

• LASER의 BiLSTM 인코더를 트랜스포머 인코더로 대체하여 더 나은 병렬 처리와 장거리 시퀀스 모델링을 가능하게 한다.
• 공통 인코더와 통일된 사전을 갖춘 다국어 기계 번역(NMT) 프레임워크를 사용해 모델을 훈련시킨다.
• 공통 벡터 공간 내에서 대응 문장의 문장 임베딩 간의 L2 거리를 최소화하는 거리 제약 손실을 도입한다.
• 엔드 투 엔드 훈련 중 표준 NMT 번역 손실과 거리 제약 손실을 결합하여 번역 및 임베딩 정렬을 동시에 최적화한다.
• 사전 훈련에는 Europarl 대역어 코퍼스를, 교차 언어 문서 분류 평가에는 MLdoc 데이터셋을 사용한다.
• LASER, T-LASER, cT-LASER 간의 공정한 비교를 위해 훈련 초모수, 배치 크기, 최적화 알고리즘, 난수 시드를 통제한다.

실험 결과

연구 질문

• RQ1 BiLSTM 대비 트랜스포머 기반 인코더가 다국어 문서 임베딩 모델의 성능과 훈련 속도를 향상시킬 수 있는가?
• RQ2 NMT 목표에 거리 제약 손실을 추가하면 문장 임베딩의 교차 언어 정렬이 향상되는가?
• RQ3 파ив롯 언어가 없는 저자원 또는 이중어 환경에서 모델의 성능은 어떠한가?
• RQ4 거리 제약 손실이 동일 언어 성능을 떨어뜨리지 않으면서도 교차 언어 성능을 향상시키는가?

주요 결과

• cT-LASER는 MLdoc 벤치마크에서 LASER보다 교차 언어 분류 정확도를 7.2% 향상시켜 LASER와 표준 T-LASER를 크게 능가한다.
• cT-LASER는 LASER_6 대비 교차 언어 작업에서 5.1%의 성능 격차를 보이며, 거리 제약 손실의 효과를 입증한다.
• 트랜스포머 아키텍처의 더 나은 GPU 병렬 처리 덕분에 cT-LASER는 LASER_1과 LASER_6보다 더 빠른 훈련 속도(WPS)를 기록한다.
• 파이벗 언어가 없는 이중어 환경에서 cT-LASER는 교차 언어 성능을 16% 이상 향상시켜, 거리 제약 손실이 파이벗 언어가 없을 때도 지식 전이를 가능하게 한다는 것을 보여준다.
• cLASER_6에서는 거리 제약 손실 덕분에 LASER_6 대비 교차 언어 성능이 2.5% 향상되었고, 동일 언어 성능에는 최소한의 영향을 미쳤다.
• 거리 제약 손실의 성능 향상 효과는 난수 시드에 따라 안정적이므로, 훈련의 무작위성에 대해 강건함을 보여준다.