[논문 리뷰] Improving Zero-Shot Translation by Disentangling Positional Information

Danni Liu, Jan Niehues외 3명|Repository KITopen (Karlsruhe Institute of Technology)|2020. 12. 30.

Natural Language Processing Techniques참고 문헌 33인용 수 11

한 줄 요약

이 논문은 입력 토큰에서 위치 정보를 분리하기 위해 단일 중간 인코더 레이어에서 잔차 연결을 제거하는 간단한 아키텍처 수정을 제안한다. 이 방법은 다국어 신경 기계 번역 시스템에서 제로샷 번역 성능을 향상시키며, 재학습 없이도 새로운 언어를 원활하게 통합할 수 있도록 한다. 이로 인해 제로샷 번역에서 최대 18.5 BLEU 포인트 향상이 이루어진다.

ABSTRACT

Multilingual neural machine translation has shown the capability of directly translating between language pairs unseen in training, i.e. zero-shot translation. Despite being conceptually attractive, it often suffers from low output quality. The difficulty of generalizing to new translation directions suggests the model representations are highly specific to those language pairs seen in training. We demonstrate that a main factor causing the language-specific representations is the positional correspondence to input tokens. We show that this can be easily alleviated by removing residual connections in an encoder layer. With this modification, we gain up to 18.5 BLEU points on zero-shot translation while retaining quality on supervised directions. The improvements are particularly prominent between related languages, where our proposed model outperforms pivot-based translation. Moreover, our approach allows easy integration of new languages, which substantially expands translation coverage. By thorough inspections of the hidden layer outputs, we show that our approach indeed leads to more language-independent representations.

연구 동기 및 목표

• 다국어 신경 기계 번역 시스템에서 제로샷 번역 성능이 열악한 문제를 해결하기 위해.
• 표준 모델이 제로샷 추론 시 예측되지 않은 언어 쌍으로 일반화하지 못하는 이유를 탐구하기 위해.
• 입력 토큰에 대한 위치 의존성을 줄여 언어에 관계없이 일반화 가능한 표현을 도모하기 위해.
• 최소한의 데이터로 기존의 다국어 모델에 새로운 언어를 효율적으로 통합할 수 있도록 하기 위해.
• 인코더의 구조적 수정이 제로샷 번역 품질을 크게 향상시킬 수 있음을 보여주기 위해.

제안 방법

• 입력 토큰과 히든 상태 사이의 일대일 위치 대응을 깨뜨리기 위해 단일 중간 인코더 레이어에서 잔차 연결을 제거하는 방법을 적용한다.
• 이 수정을 통해 인코더는 단어 표현을 자유롭게 재구성할 수 있게 되어 언어 특화된 인코딩 패tern을 감소시킨다.
• 최소한의 아키텍처 변경으로 표준 트랜스포머 기반 다국어 NMT 모델에 이 방법을 적용한다.
• 모델은 지도 학습 방향으로 다국어 데이터셋에서 학습되며, 추가 미세조정 없이 제로샷 번역이 평가된다.
• 위치 임베딩은 유지되지만, 모델은 그 형태에 대해 강건하도록 설계되어 있어 다양한 언어 간 일반화를 보장한다.
• 새로운 언어에 대해서는 오직 해당 언어의 병렬 데이터만으로 미세조정함으로써 쉽게 확장 가능하며, 다른 모든 언어로의 제로샷 기능을 유지한다.

Figure 1: An example of language-specific encoder outputs as a results of the strong positional correspondence to input tokens (even assuming the word embeddings are cross-lingually mapped).

실험 결과

연구 질문

• RQ1 공유 파rameter를 가진 표준 다국어 NMT 모델이 제로샷 번역에서 성능이 열악한 이유는 무엇인가?
• RQ2 입력 토큰과 인코더 히든 상태 사이의 위치 대응이 다국어 일반화를 얼마나 방해하는가?
• RQ3 단일 인코더 레이어에서 잔차 연결을 제거하는 것이 지도 학습 성능을 떨어뜨리지 않고 제로샷 번역 품질을 향상시킬 수 있는가?
• RQ4 제안된 방법이 토큰 수준과 문장 수준에서 히든 표현의 언어 독립성에 어떻게 영향을 미치는가?
• RQ5 모델은 제로샷 번역 능력을 유지하면서도 새로운 언어의 빠른 통합을 지원할 수 있는가?

주요 결과

• 단일 중간 인코더 레이어에서 잔차 연결을 제거함으로써 제로샷 번역 성능이 최대 18.5 BLEU 포인트 향상된다.
• 향상 효과가 가장 두드러진 것은 관련 언어 쌍에서 나타나며, 피벗 기반 번역 방식을 뛰어넘는 성능을 보인다.
• 수정된 모델은 히든 레이어 출력 분석을 통해 더 언어에 관계없는 표현을 생성함을 확인할 수 있다.
• 최소한의 데이터로 새로운 언어를 쉽게 통합할 수 있으며, 기존에 N개의 언어를 지원할 경우 번역 커버리지가 2N개 언어 쌍으로 확장된다.
• 모델은 지도 학습 방향에서 높은 성능을 유지하여 주 학습 목표에 대한 성능 저하가 없음을 보여준다.
• 이 방법은 학습된 위치 임베딩과 사인파 임베딩을 포함한 다양한 위치 임베딩 방식에 대해 강건함을 입증한다.

Figure 2: Illustrations of our proposed modifications to an original encoder layer: dropping residual connections once ( $\S$ 2.1 ); making attention query based on position encoding ( $\S$ 2.2 ). Before each self-attention (SA) and feed forward (FF) layer we apply layer normalization, which is not