[논문 리뷰] Sequence to Sequence Mixture Model for Diverse Machine Translation

Xuanli He, Gholamreza Haffari외 1명|arXiv (Cornell University)|2018. 10. 17.

Natural Language Processing Techniques참고 문헌 21인용 수 13

한 줄 요약

이 논문은 병렬 코퍼스의 어휘적, 문법적 다양성을 반영하는 소프트 클러스터링을 통해 번역 다양성과 품질을 햖थ하는 시퀀스-투-시퀀스 혼합 모델인 S2SMix를 제안한다. 각 구성 요소는 국소적 로그우도 최적화를 통해 병렬 코퍼스의 소프트 클러스터링을 학습하며, 이는 추가적인 파라미터 증가 없이도 높은 품질의 다양한 번역 결과를 생성할 수 있도록 한다. 추론 시 비용도 발생하지 않는다.

ABSTRACT

Sequence to sequence (SEQ2SEQ) models often lack diversity in their generated translations. This can be attributed to the limitation of SEQ2SEQ models in capturing lexical and syntactic variations in a parallel corpus resulting from different styles, genres, topics, or ambiguity of the translation process. In this paper, we develop a novel sequence to sequence mixture (S2SMIX) model that improves both translation diversity and quality by adopting a committee of specialized translation models rather than a single translation model. Each mixture component selects its own training dataset via optimization of the marginal loglikelihood, which leads to a soft clustering of the parallel corpus. Experiments on four language pairs demonstrate the superiority of our mixture model compared to a SEQ2SEQ baseline with standard or diversity-boosted beam search. Our mixture model uses negligible additional parameters and incurs no extra computation cost during decoding.

연구 동기 및 목표

• 표준 시퀀스-투-시퀀스(SEQ2SEQ) 신경 기계 번역 모델에서의 다양성 부족 문제를 해결한다.
• 생성된 출력의 어휘적 및 문법적 다양성을 높이면서도 번역 품질을 향상시킨다.
• 표준 SEQ2SEQ 모델 대비 낮은 추론 비용과 최소한의 파라미터 오버헤드를 유지하는 모델을 개발한다.
• 명시적 애너테이션이나 추가적인 감독 없이 병렬 코퍼스 내 도메인 또는 스타일별 변형을 학습한다.
• 전문적인 구성 요소의 혼합을 통해 잠재된 다양성을 모델링하여 다양한 고급 번역 결과를 생성한다.

제안 방법

• 각 입력 문장에 대해 전역 이산 잠재 변수를 사용하여 훈련 데이터의 다양한 클러스터를 조건으로 하는 시퀀스-투-시퀀스 혼합 모델(S2SMix)을 도입한다.
• 각 혼합 구성 요소는 국소적 로그우도 최적화를 통해 언어적 다양성에 기반한 병렬 코퍼스의 소프트 클러스터링을 유도한다.
• 혼합 구성 요소는 대부분의 모델 파라미터와 계산을 공유하므로 추가적인 파라미터와 추론 비용을 최소화한다.
• 큰 혼합 모델의 메모리 비용이 과도하게 증가하는 것을 방지하기 위해 추론 중 후행 분포를 근사하기 위해 몬테카를로 샘플링을 사용한다.
• 양방향 LSTM과 이중층 디코더를 사용한 어텐션 기반 SEQ2SEQ를 활용하여 네 가지 언어 쌍(En→De, En→Fr, En→Vi, En→Es)에 적용한다.
• 디코딩은 표준 빔 서치를 사용하며, 디코딩 알고리즘에 대한 수정이 없다.

실험 결과

연구 질문

• RQ1 전문적인 SEQ2SEQ 모델의 혼합이 품질을 훼손하지 않고 번역 다양성을 향상시킬 수 있는가?
• RQ2 국소적 로그우도 학습을 통한 병렬 코퍼스의 소프트 클러스터링이 언어적 다양성(예: 스타일, 장르, 주제)을 효과적으로 포착할 수 있는가?
• RQ3 S2SMix 모델이 표준 SEQ2SEQ 또는 다양성 향상 빔 서치를 사용한 모델보다 더 높은 다양성과 BLEU 점수를 달성하는가?
• RQ4 성능 향상과 함께 낮은 추론 비용과 최소한의 파라미터 증가를 유지할 수 있는가?
• RQ5 다양한 언어 쌍과 번역 도메인에서 모델이 효과적으로 작동하는가?

주요 결과

• S2SMix는 네 가지 언어 쌍에서 표준 SEQ2SEQ 및 다양성 향상 빔 서치 기반 모델 대비 BLEU 점수와 번역 다양성 측면에서 일관되게 뛰어난 성능을 보였다.
• 모델은 동일한 입력에 대해 동의어 및 문법적 다양성을 반영한 여러 정확한 번역 결과를 생성하며, 이는 정성적 예시에서 확인할 수 있다.
• 네 개의 혼합 구성 요소로도 S2SMix는 다양성과 BLEU 점수에서 뚜렷한 향상을 보였으며, 소수의 구성 요소로도 효과가 있음을 입증했다.
• 추론 시 추가적인 파라미터 증가가 거의 없고, 별도의 계산 비용도 발생하지 않아 효율적이고 구현 가능한 모델이다.
• 국소적 로그우도 최적화에 의해 유도된 소프트 클러스터링은 유사한 언어적 다양성을 가진 문장을 효과적으로 그룹화하여 전문화된 구성 요소 학습을 가능하게 했다.
• 다양성 지표를 활용한 정량적 분석 결과, S2SMix는 기준 모델 대비 더 다양한 출력을 생성하면서도 유창성과 정확성을 유지하거나 향상시켰다.