[논문 리뷰] Robust Neural Machine Translation with Joint Textual and Phonetic Embedding

Hairong Liu, Mingbo Ma외 3명|arXiv (Cornell University)|2018. 10. 15.

Natural Language Processing Techniques참고 문헌 23인용 수 4

한 줄 요약

이 논문은 동음이의어 오류(말소리가 유사한 단어로 대체되는 현상)에 대한 신경 기계 번역(NMT) 모델의 강인성을 향상시키기 위해 텍스트 및 발음 임베딩을 통합하는 방법을 제안한다. β ≈ 0.95로 발음 정보를 강조하고, 합성 동음이의어 오류를 활용해 훈련 데이터를 증강함으로써, 노이즈가 있는 입력에 대한 강인성이 크게 향상되었으며, 놀랍게도 청소된 테스트 세트에서도 성능이 향상되어 표준 NMT 모델보다 두 상황 모두에서 뛰어난 성능을 보였다.

ABSTRACT

Neural machine translation (NMT) is notoriously sensitive to noises, but noises are almost inevitable in practice. One special kind of noise is the homophone noise, where words are replaced by other words with similar pronunciations. We propose to improve the robustness of NMT to homophone noises by 1) jointly embedding both textual and phonetic information of source sentences, and 2) augmenting the training dataset with homophone noises. Interestingly, to achieve better translation quality and more robustness, we found that most (though not all) weights should be put on the phonetic rather than textual information. Experiments show that our method not only significantly improves the robustness of NMT to homophone noises, but also surprisingly improves the translation quality on some clean test sets.

연구 동기 및 목표

• 말소리가 유사한 단어로 대체되는 동음이의어 노이즈로 인해 잘못된 번역이 발생하는 NMT 모델의 취약성을 해결하기 위해.
• 일반적으로 강인 NMT 연구에서 간과되는 청소된 테스트 세트에서의 성능 손실 없이 강인성을 향상시키기 위해.
• 동음이의어 노이즈 하에서 발음 정보가 텍스트 입력보다 더 안정적인 신호가 될 수 있는지 조사하기 위해.
• 합성 동음이의어 오류를 활용한 데이터 증강이 모델의 일반화 능력을 향상시키는 데 효과적인지 평가하기 위해.

제안 방법

• 텍스트 단위와 발음 단위(예: 중국어의 파inyin)에 대해 학습 가능한 임베딩을 사용해 단어와 그 발음을 동시에 임베딩한다.
• 단어 임베딩과 발음 임베딩을 가중 평균으로 조합: π([a,ψ(a)]) = (1−β)π(a) + βπ(ψ(a))로 표현되며, 여기서 β는 텍스트 및 발음 신호 간의 균형을 조절한다.
• 실험에서는 β ≈ 0.95를 사용하여, 최적의 강인성을 확보하기 위해 최종 표현에서 발음 정보가 지배적임을 나타낸다.
• 훈련 문장 쌍의 40%에서 원본 단어를 동음이의어로 무작위로 교체함으로써 데이터 증강을 적용하여, 훈련 데이터를 약 280만 쌍으로 증가시킨다.
• 통합 임베딩 레이어와 증강된 데이터를 사용해 트랜스포저 기반 NMT 모델을 훈련하고, 청소된 테스트 세트와 노이즈가 있는 테스트 세트에서 평가한다.
• 복잡한 RNN을 사용하지 않고, 발음 단위 임베딩을 평균화하여 단일 벡터로 압축한 후 단어 임베딩과 조합함으로써 병합 과정을 단순화한다.

실험 결과

연구 질문

• RQ1 실제 입력 환경에서 동음이의어 노이즈에 대한 NMT 강인성을 향상시키기 위해 텍스트 및 발음 임베딩을 통합하는 것이 가능한가?
• RQ2 텍스트 입력보다 발음 정보에 더 의존할 경우, NMT에서 더 나은 강인성과 일반화 성능을 달성할 수 있는가?
• RQ3 합성 동음이의어 오류를 활용한 데이터 증강이 모델의 강인성과 청소된 데이터에서의 성능 향상에 어느 정도 기여하는가?
• RQ4 텍스트 및 발음 임베딩 간의 균형(β로 제어)이 번역 품질과 노이즈에 대한 내성에 어떤 영향을 미치는가?

주요 결과

• β = 0.95로 설정된 모델은 발음 정보를 강조함으로써 최상의 성능을 달성했으며, 이는 동음이의어 노이즈 하에서 발음 신호가 텍스트 신호보다 더 강인함을 시사한다.
• NoisySet1 및 NoisySet2 테스트 세트에서 제안된 방법은 각각 45.71 및 42.66 BLEU 점수를 기록하여 기준 Transformer 모델(41.33 및 37.11)을 크게 앞서 갔다.
• 데이터 증강을 거친 후, 청소된 테스트 세트(NIST 06)에서 모델의 BLEU 점수는 45.97에서 48.06으로 상승하여, 노이즈가 있는 데이터가 일반화 능력을 향상시키는 데 기여함을 보였다.
• 동음이의어 교체(예: ‘有’ → ‘又’)가 발생한 문장을 성공적으로 올바르게 번역했으며, 기준 모델은 관련 없는 출력(예: ‘hpv’ 대신 ‘have’)을 생성했다.
• 청소된 테스트 세트에서도 통합 임베딩과 데이터 증강을 적용한 모델은 기준 모델보다 높은 BLEU 점수를 기록하여, 강인성 훈련이 전체 성능 향상에 기여함을 보였다.
• 제거 실험을 통해 발음 정보가 텍스트 정보보다 동음이의어 노이즈에 대한 강인성 향상에 더 중요하며, β가 1에 가까운 경우 최적의 성능을 낼 수 있음을 확인했다.