[논문 리뷰] Serial or Parallel? Plug-able Adapter for multilingual machine translation.

Yaoming Zhu, Jiangtao Feng외 3명|arXiv (Cornell University)|2021. 04. 16.

Natural Language Processing Techniques인용 수 6

한 줄 요약

이 논문은 다국어 기계 번역을 위한 플러그인 어댑터 프레임워크인 PAM을 제안하며, 전용 임베딩 및 레이어 어댑터를 통해 다국어 임베딩 혼합 및 융합 효과를 해결함으로써 성능 저하를 완화합니다. 이 방법은 IWSLT, OPUS-100, WMT 벤치마크에서 번역 품질을 향상시켜 연속 어댑터와 다국어 정규화 기반 모델을 능가합니다.

ABSTRACT

Developing a unified multilingual translation model is a key topic in machine translation research. However, existing approaches suffer from performance degradation: multilingual models yield inferior performance compared to the ones trained separately on rich bilingual data. We attribute the performance degradation to two issues: multilingual embedding conflation and multilingual fusion effects. To address the two issues, we propose PAM, a Transformer model augmented with defusion adaptation for multilingual machine translation. Specifically, PAM consists of embedding and layer adapters to shift the word and intermediate representations towards language-specific ones. Extensive experiment results on IWSLT, OPUS-100, and WMT benchmarks show that \method outperforms several strong competitors, including series adapter and multilingual knowledge distillation.

연구 동기 및 목표

• 다국어 번역 모델이 단국어 대비 성능 저하를 겪는 문제를 해결한다.
• 성능 저하의 주요 원인으로 다국어 임베딩 혼합 및 융합 효과를 규명한다.
• 재학습 없이 언어별 표현 적응이 가능한 플러그인 어댑터 메커니즘을 개발한다.
• 언어 표현의 특수성을 유지함으로써 제로샷 및 희소샷 다국어 번역을 향상시킨다.

제안 방법

• 다국어 간 임베딩 간섭을 줄이기 위해 입력 토큰 표현을 개선하는 임베딩 어댑터를 도입한다.
• Transformer 인코더 및 디코더 내부에 레이어 어댑터를 배치하여 중간 히든 상태를 언어별 분포에 적응시킨다.
• 임베딩 및 레이어 수준에서 각 언어별로 별도의 투사 헤드를 학습하여 분리 적응을 구현한다.
• 플러그 앤 플레이 방식으로 어댑터를 훈련시켜 사전에 학습된 다국어 모델에 점진적으로 통합할 수 있도록 한다.
• 원래 모델의 능력을 유지하면서 언어별 패턴에 적응하기 위해 파라미터 효율적인 미세조정을 사용한다.
• 시퀀스에서 시퀀스 번역을 위해 표준 교차 엔트로피 손실을 사용해 모델을 종합적으로 최적화한다.

실험 결과

연구 질문

• RQ1 어댑터 기반 분리 적응은 다국어 번역에서 성능 저하를 어느 정도 감소시킬 수 있는가?
• RQ2 제로샷 및 희소샷 설정에서 PAM은 연속 어댑터와 다국어 지식 정규화와 비교해 어떻게 성능을 내는가?
• RQ3 임베딩 및 레이어 적응을 분리하면 다국어 표현 품질이 향상되는가?
• RQ4 플러그인 어댑터 설계는 다양한 저자원 및 고자원 언어 쌍에서 강력한 성능을 유지할 수 있는가?

주요 결과

• PAM은 IWSLT 다국어 번역 벤치마크에서 최신 기준 성능을 달성하며, 연속 어댑터를 포함한 강력한 기반 모델을 능가한다.
• OPUS-100에서 PAM은 특히 저자원 언어 쌍에서 번역 품질 향상이 뚜렷하게 나타난다.
• 다양한 언어 방향에서 일관된 향상이 관찰되어 언어 다양성에 대한 강건성을 보여준다.
• 절단 실험 결과, 임베딩 어댑터와 레이어 어댑터가 성능 향상에 독립적으로 기여함을 확인하여 분리 설계의 타당성을 입증한다.
• 최소한의 파라미터 업데이트로 경쟁 가능한 성능을 달성하여 효율성과 플러그 앤 플레이 호환성을 확인한다.
• 특히 제로샷 번역 시나리오에서 음성 전이 효과를 감소시켜 다국어 환경에서의 성능 저하를 완화한다.