[논문 리뷰] (Self-Attentive) Autoencoder-based Universal Language Representation for Machine Translation

Carlos Escolano, Marta R. Costa‐jussà외 1명|arXiv (Cornell University)|2018. 10. 15.

Natural Language Processing Techniques참고 문헌 27인용 수 7

한 줄 요약

이 논문은 공통의 보편적 언어 표현을 사용하여 다국어 번역을 위한 다중 인코더와 디코더를 공동으로 훈련하는 자기주의 어텐션 오토인코더 기반 아키텍처를 제안한다. 교차 언어 잠복 표현 간 상관관계를 기반으로 한 상호언어적 손실을 도입함으로써, WMT 2017 터키어-영어 번역 과제에서 최고 성능 BLEU 점수를 기록하면서도 보편적 중간 표현으로의 진전을 보였다.

ABSTRACT

Universal language representation is the holy grail in machine translation (MT). Thanks to the new neural MT approach, it seems that there are good perspectives towards this goal. In this paper, we propose a new architecture based on combining variational autoencoders with encoder-decoders and introducing an interlingual loss as an additional training objective. By adding and forcing this interlingual loss, we are able to train multiple encoders and decoders for each language, sharing a common universal representation. Since the final objective of this universal representation is producing close results for similar input sentences (in any language), we propose to evaluate it by encoding the same sentence in two different languages, decoding both latent representations into the same language and comparing both outputs. Preliminary results on the WMT 2017 Turkish/English task shows that the proposed architecture is capable of learning a universal language representation and simultaneously training both translation directions with state-of-the-art results.

연구 동기 및 목표

• 다양한 언어 간에 공통의 보편적 언어 표현을 학습하는 신경 기반 기계 번역 아키텍처를 개발하기 위해.
• 새로운 상호언어적 손실 함수를 사용하여 공통 중간 표현을 명시적으로 훈련시킴으로써 다국어 번역을 향상시키기 위해.
• 교차 언어 번역 및 오토인코딩 성능을 비교하여 보편 표현의 품질을 평가하기 위해.
• 각 언어에 대해 하나의 인코더-디코더 쌍을 사용하면서도 공통 표현을 공유함으로써 전체 쌍방향 시스템의 필요성을 줄이기 위한 가능성 탐색을 위해.
• 자기주의 어텐션 기반 기법과 변동성 또는 비변동성 오토인코더가 효과적으로 보편 표현을 학습할 수 있는지 조사하기 위해.

제안 방법

• 자기주의 어텐션 기반 메커니즘을 사용하는 트랜스포머 기반 인코더-디코더 아키텍처와 변동성 및 비변동성 오토인코더를 결합한다.
• 동일 문장의 서로 다른 언어에서의 잠복 표현 간 상관관계를 최대화하는 상호언어적 손실을 도입한다.
• 공통 잠복 공간을 보편적 언어 표현으로 사용하며, 번역 및 상호언어 정렬 목표의 공동 최적화를 통해 훈련한다.
• 잠복 공간 내 언어의 군집화 및 분리 가능성 평가를 위해 UMAP를 사용하여 문장 표현을 시각화한다.
• 공통 디코더를 통해 동일 문장을 두 언어에서 디코딩한 결과를 비교하여 보편 표현의 품질을 평가한다.
• 표준 및 분해된 벡터 양자화(DVQ)를 적용하여 표현의 용량과 분리 능력을 탐색한다.

실험 결과

연구 질문

• RQ1 상호언어적 손실을 사용하여 다국어 NMT 시스템에서 공통의 보편적 언어 표현을 효과적으로 학습할 수 있는가?
• RQ2 변동성 오토인코더와 비변동성 오토인코더의 선택이 보편 표현 품질과 번역 성능에 어떤 영향을 미치는가?
• RQ3 상관관계 기반 상호언어적 손실이 최대 거리 손실에 비해 제로샷 또는 다국어 번역 성능을 얼마나 향상시키는가?
• RQ4 보편 표현이 오토인코딩과 교차 언어 번역 작업 양측 모두에서 얼마나 잘 기능하는가?
• RQ5 학습된 보편 표현이 제한된 병렬 데이터로도 효과적인 전이 학습을 가능하게 하는가?

주요 결과

• 제안된 아키텍처는 WMT 2017 터키어-영어 번역 과제에서 8.11(EN-TR) 및 12.00(TR-EN)의 최고 성능 BLEU 점수를 기록하였다.
• 비변동성 오토인코더가 변동성 오토인코더보다 번역 방향 양쪽에서 1 BLEU 이상 높은 성능을 보였다.
• 상관관계 기반 상호언어적 손실이 최대 거리 손실보다 유의미하게 더 좋은 결과(약 1.5 BLEU 높음)를 제공하였다.
• 가장 우수한 성능을 보인 모델(univ+corr)은 같은 언어의 인코더에서 나온 오토인코딩 출력(BLEU 63.32 및 59.33)이 번역 출력(BLEU 12.00 및 8.11)보다 훨씬 정확한 것으로 나타나, 보편 표현 품질 향상 여지가 있음을 시사하였다.
• A-T BLEU 점수(11.90 및 6.02)는 언어 간 표현 정렬이 아직 완벽하지 않음을 시사하며, 보편 표현이 아직 완전히 분리되거나 불변적이지 않음을 나타낸다.
• UMAP 시각화 결과 터키어 및 영어 표현은 명확한 군집을 형성하였고, 병렬 문장들이 잠복 공간 내에서 일관되게 가까이 있지 않음을 확인하여, 교차 언어 정렬이 아직 완벽하지 않음을 보여주었다.