[논문 리뷰] Margin-based Parallel Corpus Mining with Multilingual Sentence Embeddings

Mikel Artetxe, Holger Schwenk|arXiv (Cornell University)|2018. 11. 03.

Natural Language Processing Techniques참고 문헌 16인용 수 156

한 줄 요약

이 논문은 다국어 문장 임베딩을 사용하는 마진 기반 병렬 코퍼스 마이닝 방법을 제안하며, 코사인 유사도 임계값 설정 방식보다 문장 쌍의 유사도와 그 k개의 근접 이웃의 유사도 간의 마진을 측정하여 개선한다. 이 방법은 BUCC에서 이전 작업보다 10점 이상 높은 F1 점수를 기록하고, UN 복원 작업에서 85% 정밀도를 달성하며, 필터링된 ParaCrawl 데이터를 사용해 영어-독어 NMT BLEU 점수를 31.2로 1점 이상 향상시킨다.

ABSTRACT

Machine translation is highly sensitive to the size and quality of the training data, which has led to an increasing interest in collecting and filtering large parallel corpora. In this paper, we propose a new method for this task based on multilingual sentence embeddings. In contrast to previous approaches, which rely on nearest neighbor retrieval with a hard threshold over cosine similarity, our proposed method accounts for the scale inconsistencies of this measure, considering the margin between a given sentence pair and its closest candidates instead. Our experiments show large improvements over existing methods. We outperform the best published results on the BUCC mining task and the UN reconstruction task by more than 10 F1 and 30 precision points, respectively. Filtering the English-German ParaCrawl corpus with our approach, we obtain 31.2 BLEU points on newstest2014, an improvement of more than one point over the best official filtered version.

연구 동기 및 목표

• 코사인 유사도의 한계를 해결하기 위해, 문장 쌍 간의 척도 일관성 부족 문제를 야기하는 코사인 유사도 기반 병렬 코퍼스 마이닝 기법의 한계를 해결한다.
• 고정된 유사도 임계값 대신 마진 기반 점수 기반 메커니즘을 도입하여 근접 이웃 검색의 신뢰성을 향상시킨다.
• 후속 신경 기계 번역 작업을 위한 병렬 코퍼스의 품질을 향상시킨다.
• 저자원 언어나 거리가 먼 언어 쌍을 포함한 다양한 언어 쌍에서 일관된 성능 향상을 입증한다.

제안 방법

• 교정된 다국어 병렬 데이터를 사용해 교차 엔트로피 손실을 최적화하는 공유 다국어 인코더-디코더 아키텍처를 사용하며, 양방향 LSTM 인코더와 LSTM 디코더를 포함한다.
• 인코더의 은닉 상태에 대해 최대 풀링을 적용하여 고정 길이의 문장 임베딩을 생성하며, 훈련 후 디코더는 기각한다.
• 문장 쌍의 코사인 유사도와 양방향에서 각각의 k개 근접 이웃과의 평균 유사도 간의 차이를 계산하는 마진 기반 점수 함수를 적용한다.
• 최대 점수 검색을 수행하는 비율 마진 함수를 사용하며, 훈련 데이터에서 F1 점수를 최대화하기 위해 필터링 임계값을 최적화한다.
• ParaCrawl와 같은 대규모 코퍼스를 배치 단위로 처리하며, 마진 점수 기반 상위 점수를 받은 쌍을 필터링한다.
• LASER 툴킷을 사용해 모델을 구현하며, 단일 다국어 인코더로 93개 언어를 지원한다.

실험 결과

연구 질문

• RQ1 고정된 코사인 유사도 임계값 대비 마진 기반 점수 기반 방법이 병렬 문장 검색의 신뢰성 향상에 기여하는가?
• RQ2 코사인 유사도의 척도 불일치 문제를 고려함으로써 다양한 언어 쌍에서 더 나은 마이닝 성능을 달성할 수 있는가?
• RQ3 ParaCrawl와 같은 대규모 병렬 코퍼스에 적용했을 때, 제안된 방법이 후속 NMT 성능 향상에 얼마나 기여하는가?
• RQ4 표준 벤치마크인 BUCC와 UN 복원 작업에서 최신 기술 대비 이 방법은 어떻게 비교되는가?
• RQ5 영어-루마니아어나 영어-중국어와 같은 거리가 먼 언어 쌍에도 효과적으로 일반화되는가?

주요 결과

• 제안된 방법은 BUCC 영어-독어 테스트 세트에서 95.6의 F1 점수를 기록하며, 이전 최고 성능보다 10점 이상 높다.
• UN 복원 작업에서 영어-스페인어 쌍에 대해 P@1에서 85.78%의 정밀도를 달성하여 이전 최고 기록보다 30점 이상 향상되었다.
• 제안된 방법으로 ParaCrawl 영어-독어 코퍼스를 필터링하면 newstest2014에서 31.2의 디토크나이즈드 BLEU 점수를 기록하며, 공식으로 발표된 최고 성능 버전보다 1점 이상 향상되었다.
• 모든 네 개의 BUCC 언어 쌍에서 성능 향상을 기록하였으며, 영어-프랑스어와 영어-루마니아어 쌍에선 F1 점수가 92를 초과한다.
• 저자원 언어나 거리가 먼 언어 쌍을 포함한 다양한 환경에서 일관된 성능 향상을 기록하여 강건성과 일반화 능력을 입증한다.