[논문 리뷰] Improving Robustness of Machine Translation with Synthetic Noise

Vaibhav Vaibhav, Sumeet Singh외 2명|arXiv (Cornell University)|2019. 02. 25.

Natural Language Processing Techniques참고 문헌 20인용 수 6

한 줄 요약

이 논문은 소셜 미디어 텍스트의 자연스러운 노이즈에 대한 기계 번역의 강건성을 향상시키기 위해 두 가지 방법을 제안한다: 합성 노이즈 유도(SNI)는 철자, 문법, 슬랭어 오류를 모방하기 위해 사용되며, 타겟 노이즈 주입을 통한 역번역(TBT)은 스타일적으로 일치하는 노이즈가 포함된 병렬 데이터를 생성한다. 두 방법 모두 MTNT 벤치마크에서 BLEU 점수를 크게 향상시키며, TBT는 SNI보다 0.9 BLEU 높은 성능을 보이며, 재학습 없이도 일반 모델이 노이즈가 많은 도메인 외부 텍스트에 일반화할 수 있도록 한다.

ABSTRACT

Modern Machine Translation (MT) systems perform consistently well on clean, in-domain text. However most human generated text, particularly in the realm of social media, is full of typos, slang, dialect, idiolect and other noise which can have a disastrous impact on the accuracy of output translation. In this paper we leverage the Machine Translation of Noisy Text (MTNT) dataset to enhance the robustness of MT systems by emulating naturally occurring noise in otherwise clean data. Synthesizing noise in this manner we are ultimately able to make a vanilla MT system resilient to naturally occurring noise and partially mitigate loss in accuracy resulting therefrom.

연구 동기 및 목표

• 합성 노이즈를 효과적으로 생성하여 소셜 미디어 텍스트의 자연스러운 노이즈를 모방할 수 있는지 조사하기 위해.
• 인위적으로 노이즈가 포함된 데이터로 일반 기계 번역 시스템을 미세조정하면 실제 노이즈가 포함된 테스트 세트에서의 강건성이 향상되는지 평가하기 위해.
• 도메인 적응을 위해 히우리스틱 합성 노이즈 유도(SNI)와 타겟 노이즈 주입을 통한 역번역(TBT)의 효과성을 비교하기 위해.
• 감독 데이터의 양과 노이즈 수준의 변화가 모델의 일반화 능력과 번역 품질에 미치는 영향을 평가하기 위해.

제안 방법

• 히우리스틱 합성 노이즈 유도(SNI)는 규칙 기반 변환을 사용하여 청소된 병렬 문장에 일반적인 소셜 미디어 노이즈 유형—철자 오류, 문법 오류, 슬랭어—를 수동으로 삽입한다.
• 타겟 역번역(TBT)은 노이즈 태그를 사용한 역번역을 통해 실제 노이즈가 포함된 텍스트의 스타일과 어휘적 특성을 유지하는 노이즈가 포함된 타겟 문장을 생성한다.
• 청결한 데이터(Europarl, TED)와 합성 노이즈 데이터(MTNT, TBT, SNI)의 조합으로 훈련된 기준 Transformer 유사 LSTM 인코더-디코더 모델을 미세조정한다.
• 노이즈 삽입은 문장의 무작위 위치에 적용되며, 욕설, 철자 오류, 비형식 문법을 포함하여 실제 세계의 언어적 다양성을 시뮬레이션한다.
• 효율성을 위해 BPE를 SentencePiece와 함께 사용하고, 임bedding과 출력 투영 레이어 간의 가중치 타이밍을 적용한다.
• MTNT 테스트 세트에서 BLEU 점수를 사용하여 성능을 평가하며, 노이즈 수준과 감독 데이터 크기의 분석 실험을 실시한다.

실험 결과

연구 질문

• RQ1 히우리스틱 방법을 사용하여 소셜 미디어 텍스트에서 흔히 볼 수 있는 노이즈 유형을 효과적으로 합성할 수 있는가?
• RQ2 합성 노이즈가 포함된 데이터로 일반 기계 번역 시스템을 미세조정하면 실제 노이즈가 포함된 테스트 세트에서의 성능 향상이 이루어지는가?
• RQ3 타겟 역번역(TBT)이 히우리스틱 합성 노이즈 유도(SNI)보다 강건성을 향상시키는 데 얼마나 효과적인가?
• RQ4 합성 노이즈와 감독 데이터의 양을 변화시켰을 때 모델 성능에 어떤 영향을 미치는가?

주요 결과

• TBT 방법은 MTNT 테스트 세트에서 SNI보다 0.9 BLEU 높은 성능을 보이며, 스타일을 고려한 노이즈 삽입이 더 나은 일반화를 이끌어낸다는 것을 시사한다.
• 20,000개의 MTNT 예제로 미세조정하면 10,000개보다 번역 품질이 크게 향상되며, 더 많은 감독 데이터가 'very'와 같은 미묘한 어휘적 특징을 포착하는 데 도움이 된다.
• 노이즈 수준과 BLEU 점수 간의 관계는 약간의 선형성을 보이며, 높은 노이즈 수준일수록 성능이 점진적으로 저하된다.
• 합성 노이즈에 욕설을 포함시키면 BLEU 점수에 가장 부정적인 영향을 미치며, 현재의 노이즈 삽입 방법이 자연스러운 욕설 사용 패턴을 충분히 반영하지 못하고 있음을 시사한다.
• 가장 우수한 모델(Fine-tuned with EP-100k-TBT + MTNT-train-20k)은 검열된 욕설이 포함된 경우에도 참조 문장과 스타일과 내용 면에서 매우 유사한 출력을 생성한다.
• 단순히 청결한 데이터(TED-100k 등)로만 미세조정하면 성능 향상이 미미하며, 강건성을 확보하기 위해 노이즈 인식 데이터 증강이 필수적임을 강조한다.