[논문 리뷰] On the Strengths of Cross-Attention in Pretrained Transformers for Machine Translation.

Mozhdeh Gheini, Xiang Ren외 1명|arXiv (Cornell University)|2021. 04. 18.

Topic Modeling인용 수 2

한 줄 요약

이 논문은 기계 번역을 위한 사전 훈련된 트랜스포머 모델을 피지컬러닝할 때, 새로운 언어를 추가할 경우 오직 교차 attention 파라미터만 업데이트하면 되며, 최소한의 파라미터 업데이트로 경쟁적인 BLEU 점수를 달성할 수 있음을 보여준다. 이는 치명적인 망각을 줄이고 제로샷 번역을 가능하게 하는 교차 언어로 정렬된 유형 임베딩을 유도한다.

ABSTRACT

We study the power of cross-attention in the Transformer architecture within the context of machine translation. In transfer learning experiments, where we fine-tune a translation model on a dataset with one new language, we find that, apart from the new language's embeddings, only the cross-attention parameters need to be fine-tuned to obtain competitive BLEU performance. We provide insights into why this is the case and further find that limiting fine-tuning in this manner yields cross-lingually aligned type embeddings. The implications of this finding include a mitigation of catastrophic forgetting in the network and the potential for zero-shot translation.

연구 동기 및 목표

• 기계 번역에서 사전 훈련된 트랜스포머를 새로운 언어에 적응시키는 데 있어 교차 attention의 역할을 조사한다.
• 지속적인 학습 중에 치명적인 망각을 해결하기 위해 피지컬러닝 중에 동결할 수 있는 트랜스포머 아키텍처의 구성 요소를 특정한다.
• 학습된 임베딩의 교차 언어 정렬을 분석하여 제로샷 번역의 잠재력을 탐색한다.
• 새로운 언어를 다국어 모델에 추가할 때 교차 attention 파라미터만으로도 효과적인 적응이 가능한 이유를 이해한다.

제안 방법

• 기존의 다국어 트랜스포머 모델을 새로운 언어에 대해 피지컬러닝할 때, 다른 모든 레이어를 동결한 채로 오직 교차 attention 파라미터만 업데이트한다.
• 피지컬러닝 중에 임베딩을 업데이트하지 않고, 새로운 언어의 임베딩만 입력으로 사용한다.
• 표준 시퀀스 투 시퀀스 목표를 사용하여 교차 attention 메커니즘을 통해 소스 및 타겟 표현을 정렬한다.
• 결과로 도출된 교차 attention 가중치와 토큰 임베딩을 분석하여 교차 언어 정렬 및 일반화 능력을 평가한다.
• 새로운 언어 번역 작업에서 BLEU 점수를 측정하여 파라미터 효율적인 피지컬러닝 전략의 효과를 측정한다.
• 모델의 행동을 전체 피지컬러닝 및 다른 파라미터 효율적 방법과 비교하여 탄탄함과 효율성을 검증한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 다국어 트랜스포머에 새로운 언어를 추가할 때, 교차 attention 파라미터만으로도 경쟁적인 번역 성능을 달성할 수 있는가?
• RQ2 교차 attention 레이어에 한정하여 피지컬러닝을 수행할 경우, 모델의 임베딩에서 교차 언어 정렬이 유지되거나 향상되는가?
• RQ3 이 파라미터 효율적 접근 방식은 지속적인 다국어 학습에서 치명적인 망각을 어느 정도 완화하는가?
• RQ4 이 방법을 통해 명시적인 타겟 언어 피지컬러닝 없이도 제로샷 번역이 가능할 수 있는가?
• RQ5 다국어 트랜스포머 환경에서 교차 attention이 언어 간 일반화를 가능하게 하는 데 어떤 역할을 하는가?

주요 결과

• 기존의 모든 레이어를 동결한 채로 오직 교차 attention 파라미터만 피지컬러닝하면, 새로운 언어 번역 작업에서 경쟁적인 BLEU 점수를 달성할 수 있다.
• 이 방법은 교차 언어로 정렬된 유형 임베딩을 생성하여, 교차 attention을 통해 언어 간 공유 표현을 학습한다는 것을 시사한다.
• 모델의 대부분을 동결함으로써, 새로운 언어에 대한 지속적인 학습 중에 치명적인 망각을 크게 줄일 수 있다.
• 파라미터 효율적 전략은 제로샷 번역을 가능하게 하며, 명시적인 타겟 언어 피지컬러닝 없이도 모델이 미리보지 않은 언어 쌍으로 일반화할 수 있다.
• 교차 attention 메커니즘은 오직 소수의 파라미터만 업데이트되더라도 효과적인 새로운 언어로의 전이를 가능하게 하는 중심적인 역할을 한다.
• 최소한의 업데이트에도 불구하고 원본 언어에 대해 강력한 성능을 유지함으로써, 교차 attention이 다국어 일반화를 유지하는 데 핵심적인 역할을 한다는 것을 시사한다.