[논문 리뷰] Learning Bilingual Sentence Embeddings via Autoencoding and Computing Similarities with a Multilayer Perceptron

Yunsu Kim, Hendrik Rosendahl외 4명|arXiv (Cornell University)|2019. 06. 05.

Topic Modeling참고 문헌 42인용 수 4

한 줄 요약

이 논문은 피벗 언어 없이 병렬 및 단일 언어 데이터만을 사용하여 이중어 문장 임베딩을 학습하기 위해 자동에코와 신경 기계 번역을 결합한 공동 학습 프레임워크를 제안한다. 이 임베딩에 대해 다층퍼셉트론(MLP)을 학습하여 문장 쌍 간 유사도를 계산하며, 단일 모델로 문장 정렬 복원 및 WMT 2018 병렬 코퍼스 필터링에서 뛰어난 성능을 달성한다.

ABSTRACT

We propose a novel model architecture and training algorithm to learn bilingual sentence embeddings from a combination of parallel and monolingual data. Our method connects autoencoding and neural machine translation to force the source and target sentence embeddings to share the same space without the help of a pivot language or an additional transformation. We train a multilayer perceptron on top of the sentence embeddings to extract good bilingual sentence pairs from nonparallel or noisy parallel data. Our approach shows promising performance on sentence alignment recovery and the WMT 2018 parallel corpus filtering tasks with only a single model.

연구 동기 및 목표

• 목표 언어 쌍을 위한 병행 및 단일 언어 데이터만을 사용하여 통합적이고 엔드 투 엔드 방식의 이중어 문장 임베딩 학습 방법 개발.
• 일반적으로 확보되지 않거나 비실용적인 피벗 언어나 N방향 병렬 데이터에 대한 의존성 제거.
• 문장 임베딩에 기반한 학습 가능한 유사도 측정 방법(MLP)을 통해 병렬 코퍼스 채굴 및 필터링 향상.
• 하류 작업에서 이중어 문장 매칭을 위한 다양한 유사도 측정 방법(코사인, MLP)의 평가 및 비교.
• 유사도 학습을 위한 MLP 학습에서 부정 예제의 질이 미치는 영향 조사.

제안 방법

• 원천 문장과 대상 문장을 모두 위한 공통 디코더 목표를 갖는 순서-순서 NMT 모델을 학습하여 이중어 문장 임베딩의 공동 학습을 가능하게 한다.
• 원천 문장과 대상 문장을 모두 재구성하기 위한 자동에코 구성 요소를 통합하여 공통 임베딩 공간 내에서 의미 일관성 강화.
• 문장 쌍이 정렬되어 있는지 예측하기 위해 다층퍼셉트론(MLP)을 가중치 가능한 유사도 함수로 사용.
• 양성(병렬) 및 부정(비병렬 또는 저품질) 문장 쌍의 조합을 사용해 MLP를 학습하여 세밀한 유사도 차이를 학습.
• 번역 손실과 자동에코 재구성 손실을 조합한 목적 함수를 사용해 전체 시스템을 엔드 투 엔드로 최적화.
• 노이즈가 있는 병렬 코퍼스(예: ParaCrawl)에서 점수화되고 순위가 매겨진 문장 쌍을 사용해 다양한 품질 수준의 부정 집합을 MLP 학습에 활용.

실험 결과

연구 질문

• RQ1 피벗 언어가 필요 없이 병행 및 단일 언어 데이터만을 사용하여 단일 모델이 이중어 문장 임베딩을 공동으로 학습할 수 있는가?
• RQ2 다층퍼셉트론은 원천 및 대상 문장 임베딩을 매칭하기 위한 학습 가능한 유사도 측정 방법으로 얼마나 효과적인가?
• RQ3 MLP 유사도 모델의 부정 학습 예제에서 최적의 부정 수준은 무엇인가?
• RQ4 노이즈가 있는 병렬 코퍼스 필터링에서 MLP 유사도는 코사인 유사도와 비교해 어떻게 성능을 내는가?
• RQ5 자동에코를 통한 단일 언어 데이터 통합이 하류 작업을 위한 이중어 문장 임베딩 품질 향상에 기여하는가?

주요 결과

• 제안된 방법은 WMT 2018 병렬 코퍼스 필터링 작업에서 복잡한 번역 및 언어 모델 조합에 의존하는 기존 시스템과 경쟁 가능한 성능을 달성하거나 초월한다.
• MLP 유사도 모델은 특히 중간 품질의 문장 쌍을 구분하는 데서 코사인 유사도를 능가하며, 높은 효율성으로 배치 계산이 가능하다.
• 노이즈가 있는 병렬 코퍼스에서 점수 60% 이하의 예제를 부정 집합으로 사용할 경우 MLP 성능이 최고로 나타나, 수용 가능한 쌍과 열악한 쌍을 효과적으로 분리하는 데 유리하다.
• 무작위로 선택한 부정 예제가 놀랍게도 잘 작동함을 확인하여, 중간 정도의 평균 부정 수준이 핵심이며, 명시적 정렬이 반드시 필요하지 않음을 시사한다.
• 문장 정렬 복원 작업에서 뛰어난 성능을 보여, 공통 임베딩 공간이 이중어 의미 대응을 효과적으로 포착하고 있음을 시사한다.
• NMT와 자동에코의 통합은 원천 및 대상 문장 임베딩이 공통 공간에서 정렬되도록 강제하여, 추가 변환 또는 피벗 언어 없이도 강건성을 향상시킨다.