[논문 리뷰] Training Multilingual Machine Translation by Alternately Freezing Language-Specific Encoders-Decoders

Carlos Escolano, Marta R. Costa‐jussà외 2명|arXiv (Cornell University)|2020. 05. 29.

Natural Language Processing Techniques참고 문헌 20인용 수 8

한 줄 요약

이 논문은 언어별로 특화된 인코더와 디코더를 사용하고, 모듈을 번갈아 가로막는 방식으로 공통의 중간 표현을 강제함으로써 다국어 기계 번역 시스템을 제안한다. 이 방법은 재학습 없이도 새로운 언어를 점진적으로 추가할 수 있으며, 초기 언어의 성능을 향상시키고, 자연어 추론과 같은 후속 작업을 위한 더 나은 문장 표현을 제공하지만, 제로샷 번역 및 새로운 언어 번역 설정에서는 약간의 성능 저하가 발생한다.

ABSTRACT

We propose a modular architecture of language-specific encoder-decoders that constitutes a multilingual machine translation system that can be incrementally extended to new languages without the need for retraining the existing system when adding new languages. Differently from previous works, we simultaneously train $N$ languages in all translation directions by alternately freezing encoder or decoder modules, which indirectly forces the system to train in a common intermediate representation for all languages. Experimental results from multilingual machine translation show that we can successfully train this modular architecture improving on the initial languages while falling slightly behind when adding new languages or doing zero-shot translation. Additional comparison of the quality of sentence representation in the task of natural language inference shows that the alternately freezing training is also beneficial in this direction.

연구 동기 및 목표

• 기존 구성 요소를 재학습하지 않고도 다국어 신경 기계 번역 시스템에 새로운 언어를 추가하는 데 도전하는 것.
• 모듈식이고 언어별로 특화된 인코더-디코더 아키텍처에서 언어 간 공통 중간 표현의 일반화를 향상시키는 것.
• 기존 언어의 성능을 유지하면서 점진적인 시스템 확장을 가능하게 하는 것.
• 기본적인 공동 학습 방식과 비교해, 인코더-디코더 모듈을 번갈아 가로막는 전략이 더 나은 다국어 문장 표현을 제공하는지 평가하는 것.
• 제안된 방법을 이전의 언어별로 독립적인 파rameter를 사용하는 비공유 접근 방식과 비교하여 다국어 번역 및 제로샷 전이 성능을 평가하는 것.

제안 방법

• 각 언어에 대해 별도의 비공유 인코더와 디코더를 사용하며, 각각 공통의 중간 표현 공간으로 매핑하도록 훈련한다.
• 훈련 중에 서로 다른 언어 쌍에 대해 인코더와 디코더 모듈을 번갈아 가로막아 호환성과 공통 표현 학습을 강제한다.
• 훈련 스케줄은 모든 N×N 번역 방향을 순환하며, 한 번에 하나의 모듈(인코더 또는 디코더)만 가로막고 나머지는 훈련한다.
• 가로막는 스케줄은 f-n, n-f, 또는 n-n로 표기되며, f는 가로막힌 모듈, n은 정상적으로 훈련되는 모듈을 의미한다.
• 새로운 언어를 추가할 땐 기존 모듈을 그대로 유지하면서 새로운 언어의 인코더와 디코더만 훈련하면 된다.
• UMAP를 사용해 문장 및 단어 임베딩을 시각화하여 기본 훈련 방식과 가로막힌 훈련 방식 간의 표현 품질을 비교한다.

실험 결과

연구 질문

• RQ1 언어별로 특화된 인코더와 디코더를 번갈아 가로막는 방식이 다국어 기계 번역에서 공통 중간 표현의 품질을 향상시킬 수 있는가?
• RQ2 이 훈련 전략은 기존 구성 요소를 재학습하지 않고도 효과적으로 새로운 언어를 점진적으로 추가할 수 있는가?
• RQ3 기본 공동 학습 방식과 비교해, 이 방법의 번역 품질은 초기 언어 번역, 새로운 언어 추가, 제로샷 번역 측면에서 어떻게 다른가?
• RQ4 가로막힌 훈련 방식에서 학습된 문장 표현은 자연어 추론과 같은 후속 작업에서 얼마나 더 높은 성능을 발휘하는가?
• RQ5 가로막힌 훈련 설정에서 새로운 언어의 표현은 기존 언어의 표현과 어떻게 비교되는가?

주요 결과

• 번갈아 가로막힌 훈련 방법은 초기 언어 번역에서 경쟁적인 성능을 달성하며, 이 설정에서 베이스라인 방법보다 뛰어난 성능을 보였다.
• 새로운 언어를 추가할 경우, 베이스라인 대비 번역 성능이 약간 저하되지만, 모듈식 설계 덕분에 재학습 없이 점진적인 확장을 가능하게 했다.
• 자연어 추론 작업에서 뚜렷한 향상이 있었으며, 가로막힌 아키텍처에서 유래한 문장 표현을 사용할 경우 분류 정확도가 높았다.
• 문장 표현의 시각화 결과, 가로막힌 훈련 스케줄이 언어 간에 더 조밀하고 일관된 군집을 이끌어내었으며, 특히 러시아어처럼 후행적으로 추가된 언어에서 두드러졌다.
• 가로막힌 모델에서 유도된 단어 임베딩은 언어별로 특화된 군집을 유지하며, 이는 단어 수준의 표현은 여전히 구분되지만, 공통 중간 공간이 다국어 간 정렬을 향상시킨다는 것을 시사한다.
• 질적 번역 예시에서, 가로막힌 모델은 베이스라인 대비 'photo ID'와 같은 핵심 용어를 더 정확히 유지하는 경향을 보였다.