[논문 리뷰] AdvAug: Robust Adversarial Augmentation for Neural Machine Translation

Yong Cheng, Lu Jiang외 2명|arXiv (Cornell University)|2020. 06. 21.

Natural Language Processing Techniques참고 문헌 27인용 수 6

한 줄 요약

이 논문은 신경 기계 번역(NMT)을 위한 새로운 적대적 데이터 증강 방법인 AdvAug를 제안한다. 이 방법은 훈련 예제 중심의 부드러운 선형 보간 임베딩 공간에서 가상의 적대적 문장을 샘플링하여 모델의 강건성과 성능을 향상시킨다. 원본 데이터가 아닌 이러한 가상 임베딩을 기반으로 훈련함으로써 AdvAug는 Transformer보다 최대 4.9 BLEU 포인트 향상을 이끌어내며, 별도의 단일 언어 코퍼스 없이도 이전의 방법들을 능가한다.

ABSTRACT

In this paper, we propose a new adversarial augmentation method for Neural Machine Translation (NMT). The main idea is to minimize the vicinal risk over virtual sentences sampled from two vicinity distributions, of which the crucial one is a novel vicinity distribution for adversarial sentences that describes a smooth interpolated embedding space centered around observed training sentence pairs. We then discuss our approach, AdvAug, to train NMT models using the embeddings of virtual sentences in sequence-to-sequence learning. Experiments on Chinese-English, English-French, and English-German translation benchmarks show that AdvAug achieves significant improvements over the Transformer (up to 4.9 BLEU points), and substantially outperforms other data augmentation techniques (e.g. back-translation) without using extra corpora.

연구 동기 및 목표

• 소수의 입력 변형, 예를 들어 동의어 교체와 같은 경우에 NMT 모델의 불안정성을 해결하기 위해.
• 외부 단일 언어 코퍼스에 의존하지 않고도 훈련 데이터의 다양성을 증가시켜 일반화 능력을 향상시키기 위해.
• 의미적 타당성을 유지하면서 모델의 강건성을 향상시키는 더 효과적인 적대적 증강 전략을 개발하기 위해.
• 임베딩 공간 내에서 새로운 인접성 분포를 기반으로 유도된 가상 문장을 활용하는 시퀀스 투 시퀀스 훈련 방법을 설계하기 위해.

제안 방법

• 관측된 훈련 문장 쌍 주변의 임베딩 공간에서 적대적 예제를 부드러운 보간으로 모델링하는 새로운 인접성 분포를 제안한다.
• 원본 문장과 목표 문장에서 이산적인 단어 교체를 통해 적대적 문장을 생성한 후, 이를 바탕으로 인접성 분포를 정의한다.
• 온도 매개수 α를 사용하여 원본 문장 쌍과 적대적 문장 쌍의 임베딩을 선형 보간함으로써 가상 문장을 샘플링한다.
• 청정 예제와 두 인접성 분포(원본 및 적대적)에서 유도된 가상 예제를 모두 포함하는 복합 손실 함수를 사용해 NMT 모델을 훈련시킨다.
• 시퀀스 투 시퀀스 프레임워크 내에서 표준 문장 표현과 가상 문장 표현을 동시에 최적화하는 미니배치 훈련 알고리즘을 적용한다.
• 믹스업 유사 보간 전략을 사용하지만, 이를 임베딩 공간 내의 적대적 예제에 적용함으로써 의미적 일관성과 더 부드러운 최적화를 보장한다.

실험 결과

연구 질문

• RQ1 임베딩 공간 내 새로운 인접성 분포가 소수의 입력 변형에 대한 NMT 모델의 강건성을 향상시킬 수 있는가?
• RQ2 보간을 통해 가상의 적대적 문장을 샘플링하는 것이 원본 적대적 예제를 직접 증강하는 것보다 더 나은 일반화 성능을 낳는가?
• RQ3 이 방법이 별도의 단일 언어 코퍼스 없이도 최신의 데이터 증강 기법인 백트랜스레이션을 능가할 수 있는가?
• RQ4 훈련 안정성과 수렴 속도 측면에서 이 방법은 믹스업과 비교해 어떻게 다른가?
• RQ5 적대적 인접성 분포와 청정 데이터 인접성 분포 중 어느 것이 전체 성능 향상에 더 기여하는가?

주요 결과

• AdvAug는 중국어-영어 번역에서 표준 Transformer보다 최대 4.9 BLEU 포인트 향상시키며, 이는 이전의 최고 성능 방법들을 크게 능가한다.
• IWSLT 영어-프랑스어 및 WMT 영어-독일어 벤치마크에서 AdvAug는 적대적 학습 분야에서 이전 최고 성능(SOTA)보다 최대 3.3 BLEU 포인트 향상시켰다.
• AdvAug로 훈련된 모델은 노이즈가 있는 입력에 대해 뛰어난 강건성을 보이며, 모든 노이즈 수준에서 동의어 교체 변형에도 불구하고 높은 성능 유지를 유지한다.
• AdvAug의 손실 함수를 사용한 훈련은 과적합을 저지한다: BLEU 점수는 10만 번째 반복 이후에도 안정되거나 향상되며, 기준 모델은 약 2만 번째 반복 후 과적합을 보인다.
• 제거 실험을 통해 적대적 인접성 분포가 청정 데이터 인접성 분포보다 더 큰 성능 향상 기여를 한다는 것이 확인되었지만, 둘 다 유익한 것으로 나타났다.
• 추가 단일 언어 코퍼스 없이도 AdvAug는 널리 사용되는 백트랜스레이션 방법을 뛰어넘으며, 독립적인 증강 기법으로서의 효과를 입증한다.