[논문 리뷰] AdMix: A Mixed Sample Data Augmentation Method for Neural Machine Translation

Chang Jin, Shigui Qiu외 2명|arXiv (Cornell University)|2022. 05. 10.

Natural Language Processing Techniques인용 수 4

한 줄 요약

AdMix는 신경 기계 번역(NMT)을 위한 새로운 데이터 증강 방법을 제안하며, 원본 문장을 디지털 노이즈가 가미된 변형문과 부드럽게 혼합함으로써 모델 성능을 향상시킵니다(단어 교체, 제거, 교환를 통한 디지털 노이즈 적용). 이후 베타 및 딜레르트 분포를 사용한 잔차 블렌딩을 통해 성능을 향상시킵니다. 강력한 Transformer 기반 베이스라인 대비 1.0–2.7 BLEU 포인트 향상되며, 입력 노이즈에 대한 강건성도 향상됩니다.

ABSTRACT

In Neural Machine Translation (NMT), data augmentation methods such as back-translation have proven their effectiveness in improving translation performance. In this paper, we propose a novel data augmentation approach for NMT, which is independent of any additional training data. Our approach, AdMix, consists of two parts: 1) introduce faint discrete noise (word replacement, word dropping, word swapping) into the original sentence pairs to form augmented samples; 2) generate new synthetic training data by softly mixing the augmented samples with their original samples in training corpus. Experiments on three translation datasets of different scales show that AdMix achieves signifi cant improvements (1.0 to 2.7 BLEU points) over strong Transformer baseline. When combined with other data augmentation techniques (e.g., back-translation), our approach can obtain further improvements.

연구 동기 및 목표

• NMT를 위한 기존의 이산적 노이즈 기반 데이터 증강 방법에서의 다양성 부족과 의미 일관성 문제를 해결하기 위해.
• 원본 문장과 대응되는 의미를 유지하는 합성 학습 샘플을 생성함으로써 모델의 일반화 및 강건성을 향상시키기 위해.
• 추가적인 단일 언어 데이터나 복잡한 학습 절차에 의존하지 않는 데이터 증강 방법을 개발하기 위해.
• AdMix와 백트랜스레이션과 같은 다른 증강 기법 간의 상호보완적 효과를 탐색하기 위해.

제안 방법

• AdMix는 원본 문장 쌍에 미세한 이산적 노이즈(단어 교체, 제거, 교환)를 도입하여 증강된 샘플을 생성합니다.
• 증강된 샘플과 원본 샘플을 Dirichlet(α, ..., α) 분포에서 샘플링하여 소프트 혼합을 적용합니다.
• 잔차 연결을 사용하여 혼합된 샘플을 베타(β, β) 분포를 통해 다시 원본과 블렌딩합니다.
• 최종 합성 샘플은 두 단계의 볼록 조합을 통해 형성되며, 의미 일관성이 유지됩니다.
• 증강 과정 중에 원본 문장과 번역 문장 간의 정렬을 유지하도록 설계되었습니다.
• 노이즈 비율 γ 및 혼합 강도 α, β와 같은 하이퍼파라미터는 최적의 성능을 위해 튜닝되었습니다.

실험 결과

연구 질문

• RQ1 추가적인 단일 언어 데이터 없이도 이산적 노이즈와 소프트 혼합을 조합하여 NMT 성능을 향상시킬 수 있는가?
• RQ2 표준 노이즈 또는 기준 모델 대비 AdMix는 입력 노이즈에 대한 강건성을 향상시키는가?
• RQ3 AdMix는 다양한 스케일과 언어 쌍을 가진 다양한 번역 작업에서 어떻게 성능을 발휘하는가?
• RQ4 AdMix는 백트랜스레이션과 같은 다른 데이터 증강 기법과 조합하여 추가적인 성능 향상을 이끌 수 있는가?

주요 결과

• AdMix는 IWSLT14 De-En, LDC Zh-En, WMT14 En-De 번역 작업에서 강력한 Transformer 기반 베이스라인 대비 1.0~2.7 BLEU 포인트 향상된 성능을 기록했습니다.
• 독일어-영어 검증 세트에서 AdMix는 0.1 노이즈 비율로 38.28 BLEU를 기록했으며, SeqMix 및 Swap을 포함한 모든 베이스라인을 초월했습니다.
• AdMix는 높은 노이즈 수준(최대 0.4)에서도 안정적인 성능을 유지했으며, 노이즈 입력에 대해 세 번의 연속 작업 후에도 32.58 BLEU의 점수를 기록했습니다.
• AdMix로 학습된 모델는 뛰어난 강건성을 보였으며, 세 번의 작업 후 BLEU 점수가 38.28에서 32.58로 떨어졌지만, 기존 Transformer는 35.82에서 29.75로 떨어지며 성능 저하가 더 심했습니다.
• 백트랜스레이션과 조합했을 때, AdMix는 단독 사용 대비 0.36 BLEU 포인트 추가 향상을 기록했으며, 상호보완적 성능 향상 효과를 입증했습니다.
• 모든 노이즈 수준과 강건성 평가 설정에서 AdMix는 모든 베이스라인을 일관되게 능가하며, 그 효과성과 안정성을 확인했습니다.