[논문 리뷰] Adaptive Sparse Transformer for Multilingual Translation

Hongyu Gong, Xian Li외 1명|arXiv (Cornell University)|2021. 04. 15.

Natural Language Processing Techniques참고 문헌 24인용 수 12

한 줄 요약

이 논문은 다국어 번역을 위한 적응형 희박한 Transformer 아키텍처를 제안하며, 간섭을 줄이고 지식 전이를 가능하게 하기 위해 언어별 하위 네트워크를 학습한다. 입력 언어에 따라 적응적으로 주의 헤드, 피드포워드 블록, 그리고 레이어 전반에 걸쳐 세분화된 희박성을 적용함으로써, 표준 Transformer 대비 일대다, 다대일, 제로샷 번역 작업에서 각각 +2.1, +1.3, +6.2 BLEU 향상을 이룩했으며, 추론 비용 증가 없이도 성능 향상을 달성한다.

ABSTRACT

Multilingual machine translation has attracted much attention recently due to its support of knowledge transfer among languages and the low cost of training and deployment compared with numerous bilingual models. A known challenge of multilingual models is the negative language interference. In order to enhance the translation quality, deeper and wider architectures are applied to multilingual modeling for larger model capacity, which suffers from the increased inference cost at the same time. It has been pointed out in recent studies that parameters shared among languages are the cause of interference while they may also enable positive transfer. Based on these insights, we propose an adaptive and sparse architecture for multilingual modeling, and train the model to learn shared and language-specific parameters to improve the positive transfer and mitigate the interference. The sparse architecture only activates a sub-network which preserves inference efficiency, and the adaptive design selects different sub-networks based on the input languages. Our model outperforms strong baselines across multiple benchmarks. On the large-scale OPUS dataset with $100$ languages, we achieve $+2.1$, $+1.3$ and $+6.2$ BLEU improvements in one-to-many, many-to-one and zero-shot tasks respectively compared to standard Transformer without increasing the inference cost.

연구 동기 및 목표

• 지식 전이의 이점에도 불구하고 성능 저하를 초래하는 다국어 신경 번역에서의 언어 간 간섭 문제를 해결하기 위해.
• 파rameter 공유로 인해 높은 계산 부담을 겪는 깊고 넓은 다국어 모델에서의 추론 비용을 줄이기 위해.
• 각 언어별로 공유 또는 독립적인 구성 요소(예: 주의 헤드, FFN 블록)를 학습함으로써 세분화된 파라미터 공유를 가능하게 하기 위해.
• 다양한 언어 규모에서 주의, FFN, 레이어 수준의 희박성 유형 간 성능을 비교하기 위해.
• 적응형이고 언어 조건에 맞는 희박성으로 추론 효율성을 유지하면서 번역 품질을 향상시키기 위해.

제안 방법

• 입력 언어에 따라 언어별 하위 네트워크를 활성화하는 잠재 변수 모델을 도입하여 적응형 희박성을 가능하게 한다.
• 주의 헤드, 피드포워드 네트워크(FFN) 블록, 그리고 Transformer 레이어 수준에서 다중 척도의 희박성을 적용하며, 각 언어가 자체 하위 집합을 선택한다.
• 희박한 라우팅을 장려하기 위해 top-k 손실을 사용하고, 과도한 정규화를 방지하기 위해 이질성 손실을 적용하여 구성 요소 사용의 균형을 확보한다.
• FFN 가중치 행렬을 블록으로 나누어 언어 간 부분적인 공유를 가능하게 하며, 특정 언어에 독점적인 주의 헤드를 할당하여 언어 특이성을 유지한다.
• FFN 및 주의 모듈에 대해 전문가의 혼합 방식 라우팅 메커니즘을 활용하며, 추론 시 활성화된 하위 구성 요소만 기여한다.
• 가능한 미분 가능한 라우팅을 통해 엔드 투 엔드 학습을 지원하며, 희박성 패턴과 모델 파라미터를 함께 최적화할 수 있다.

실험 결과

연구 질문

• RQ1 다국어 환경에서 주의, FFN, 또는 레이어 수준의 희박성 중 어느 것이 가장 높은 번역 성능을 낼 수 있는가?
• RQ2 다양한 희박성 유형의 조합이 대규모 다국어 번역 작업에서 성능에 어떤 영향을 미치는가?
• RQ3 언어 간 유사성과 자원 규모가 학습된 파라미터 공유 패턴에 얼마나 영향을 미치는가?
• RQ4 적응형이고 세분화된 희박성은 추론 비용 증가 없이 번역 품질 향상에 기여할 수 있는가?
• RQ5 모델의 희박성 패턴이 언어 간 언어학적 관계와 자원 격차를 어떻게 반영하는가?

주요 결과

• 100개 언어를 포함하는 OPUS-100 데이터셋에서, 표준 Transformer 대비 일대다, 다대일, 제로샷 번역 작업에서 각각 +2.1, +1.3, +6.2 BLEU 향상을 달성했다.
• 모델은 각 입력 언어에 대해 하위 네트워크만 활성화함으로써 추론 효율성을 유지하며, 성능 향상에도 불구하고 계산 비용 증가 없이도 성능 향상을 이룬다.
• 24개 언어의 중규모 번역에서, 일대다 번역에서는 FFN 희박성이 가장 높은 성능 향상을 보였고, 다대일 번역에서는 주의 희박성이 가장 우수한 성능을 보였다.
• 대규모 OPUS-100에서 주의, FFN, 레이어 희박성 유형을 모두 조합하면 모든 작업에서 최적의 성능을 달성했다.
• 모델이 학습한 희박성 패턴은 언어 가문과 자원 규모와 상관관계가 있으며, 고자원 언어는 저자원 언어와의 공유 비율이 낮게 나타났다.
• 모델의 성능은 희박성 수준에 대해 강건하다: 희박성 손실 없이도 BLEU 점수는 0.1 포인트 정도만 감소했으며, 이는 top-k 손실이 효과적으로 희박성을 유지함을 시사한다.