[논문 리뷰] Soft Contextual Data Augmentation for Neural Machine Translation

Jinhua Zhu, Fei Gao외 6명|arXiv (Cornell University)|2019. 05. 25.

Topic Modeling참고 문헌 17인용 수 59

한 줄 요약

사전 학습된 언어 모델에서 파생된 소프트 분포를 사용해 임의로 선택된 단어를 소프트 확률로 대체하는 소프트 컨텍스트 데이터 증강으로 BLEU가 다수의 번역 작업에서 향상됩니다.

ABSTRACT

While data augmentation is an important trick to boost the accuracy of deep learning methods in computer vision tasks, its study in natural language tasks is still very limited. In this paper, we present a novel data augmentation method for neural machine translation. Different from previous augmentation methods that randomly drop, swap or replace words with other words in a sentence, we softly augment a randomly chosen word in a sentence by its contextual mixture of multiple related words. More accurately, we replace the one-hot representation of a word by a distribution (provided by a language model) over the vocabulary, i.e., replacing the embedding of this word by a weighted combination of multiple semantically similar words. Since the weights of those words depend on the contextual information of the word to be replaced, the newly generated sentences capture much richer information than previous augmentation methods. Experimental results on both small scale and large scale machine translation datasets demonstrate the superiority of our method over strong baselines.

연구 동기 및 목표

• 신경망 기계 번역을 위한 데이터 증강의 필요성 제시와 이산적 단어 대체의 한계 해결.
• 맥락 정보를 반영하는 소프트, 분포 기반 증강 제안.
• 사전 학습된 언어 모델을 활용해 맥락 인식 단어 분포를 도출.
• 다양한 언어쌍과 데이터셋 규모에서 증강의 효과를 평가하여 유효성 입증.

제안 방법

• 무작위로 선택된 단어를 단어 집합에 대한 확률 분포인 소프트 단어로 대체한다.
• 전제 맥락을 조건으로 하는 사전 학습된 언어 모델에서 소프트 단어 P(w)를 계산한다.
• 소프트 단어를 어휘 임베딩의 기대값으로 포함시키기: e_w = P(w)E.
• 훈련 중 확률 γ로 증강을 적용하되 원-핫 토큰 대신 소프트 표현을 사용한다.
• 훈련 후 언어 모델 매개변수를 고정하고 NMT Transformer 아키텍처와 통합한다.
• 무작위 교체, 드롭아웃, 빈 토큰, 그리고 unigram 기반 스무딩 등과의 비교를 포함한 베이스라인과 비교한다.

실험 결과

연구 질문

• RQ1 소프트 맥락 증강이 다수의 언어쌍에서 강력한 베이스라인 대비 번역 품질을 향상시키는가?
• RQ2 교체 확률 γ가 증강의 성능 및 강건성에 어떤 영향을 미치는가?
• RQ3 소형 및 대형 MT 데이터셋에서 방법의 효과는 어떠한가?
• RQ4 소프트 증강이 이산적 증강 및 샘플링 기반 맥락 증강과 비교해 어떠한 이점을 가지는가?

주요 결과

• 네 가지 번역 작업에서 강력한 Transformer 베이스라인 대비 일관된 BLEU 향상.
• WMT 2014 En→De에서 기본 시스템 대비 +1.3 BLEU를 달성하여 29.70 BLEU에 도달.
• 소프트 증강이 모든 작업에서 이산적 증강 방법보다 우수한 성능을 보임.
• γ 값의 범위에서 강건한 성능을 유지하며, De→En에서 γ = 0.15 근처에서 가장 강력한 결과를 보임.