[논문 리뷰] ReWE: Regressing Word Embeddings for Regularization of Neural Machine Translation Systems

Iñigo Jauregi Unanue, Ehsan Zare Borzeshi외 2명|arXiv (Cornell University)|2019. 04. 04.

Natural Language Processing Techniques참고 문헌 32인용 수 7

한 줄 요약

이 논문은 신경 기계 번역(NMT)을 위한 새로운 정규화 기법인 ReWE를 제안한다. ReWE는 다음 단어를 분류적으로 예측하고, 그 단어의 단어 임베딩을 연속적으로 회귀하는 방식으로 동시에 학습한다. 사전에 학습된 단어 임베딩을 학습 중 회귀 타깃으로 활용함으로써 일반화 성능을 향상시키며, 특히 자원이 부족한 환경에서 일관된 BLEU 점수 향상을 기록한다. 강력한 기준 모델 및 최신 기술 모델 대비 0.91–2.54점의 BLEU 향상을 달성한다.

ABSTRACT

Regularization of neural machine translation is still a significant problem, especially in low-resource settings. To mollify this problem, we propose regressing word embeddings (ReWE) as a new regularization technique in a system that is jointly trained to predict the next word in the translation (categorical value) and its word embedding (continuous value). Such a joint training allows the proposed system to learn the distributional properties represented by the word embeddings, empirically improving the generalization to unseen sentences. Experiments over three translation datasets have showed a consistent improvement over a strong baseline, ranging between 0.91 and 2.54 BLEU points, and also a marked improvement over a state-of-the-art system.

연구 동기 및 목표

• 자원이 부족한 환경에서 신경 기계 번역(NMT)의 일반화 성능 한계를 해결하기 위해, 특히 노출 편향과 의미적으로 유사한 단어를 비효율적으로 처리하는 문제를 다루기 위함이다.
• 학습 중에 사전에 학습된 단어 임베딩에 담긴 분포적 성질을 활용하여 모델의 강건성을 향상시키기 위함이다.
• 추론 과정을 변경하지 않으면서 일반화 성능을 향상시키는 정규화 방법을 개발하기 위함이다. 이는 표준 NMT 파이프라인과의 호환성을 유지한다.
• 단어 카테고리와 연속적인 단어 임베딩을 동시에 예측하는 것이 기존의 최대우도추정(MLE)보다 더 나은 일반화 성능을 이끌어내는지 조사하기 위함이다.

제안 방법

• 표준 seq2seq 디코더를 수정하여 두 가지 출력을 생성한다: 다음 단어에 대한 소프트맥스를 통한 분류 예측과, 두 층으로 구성된 네트워크를 통한 연속 벡터 예측.
• 연속 예측은 사전에 학습된 타겟 단어의 임베딩을 향해 수렴하도록, 평균제곱오차(MSE) 또는 코사인 임베딩 손실(CEL)을 사용하여 학습한다.
• 학습 목표는 단어 예측을 위한 표준 음의 로그우도(NLL) 손실과 스케일된 임베딩 회귀 손실을 조합한 것으로, 균형을 조절하는 하이퍼파rameter λ가 존재한다.
• 모델은 두 손실을 동시에 학습하지만, 추론 시에는 단지 분류 예측만을 사용하여 표준 NMT 동작을 유지한다.
• 세 가지 다양한 번역 데이터셋(영-불, 체코-영, 바스크-영)을 사용하여 평가하였으며, 바이트패어 인코딩(BPE) 유무 조건에서 모두 평가하였다.
• 드롭아웃, 어휘 편향, 데이터 부트스트랩핑을 사용한 강력한 기준 모델 및 최신 기술 시스템과의 비교를 수행하였다.

실험 결과

연구 질문

• RQ1 단어 카테고리와 단어 임베딩을 동시에 예측하는 것이 NMT의 일반화 성능 향상에 기여하는가?
• RQ2 사전에 학습된 단어 임베딩을 향해 회귀시키는 것이 노출 편향을 줄이고, 미리 보지 않은 문장에서의 성능을 향상시키는가?
• RQ3 임베딩 손실의 종류(MSE 대비 CEL)가 학습 안정성과 최종 성능에 어떤 영향을 미치는가?
• RQ4 ReWE는 다양한 언어 쌍, 특히 자원이 부족한 환경에서 일관된 성능 향상을 제공하는가?
• RQ5 BLEU 점수와 강건성 측면에서 ReWE는 최신 기술 NMT 정규화 기법보다 우수한가?

주요 결과

• ReWE는 강력한 기준 모델 대비 일관된 성능 향상을 기록하였으며, 세 가지 데이터셋에서 BLEU 점수 향상 폭이 0.91~2.54점에 이르렀다.
• Denkowski와 Neubig(2017)의 최신 기술 시스템을 제외한 모든 구성에서 ReWE가 승리하여 높은 경쟁력을 입증하였다.
• 가장 두드러진 향상은 바스크-영어(eu-en) 번역 작업에서 나타났으며, 이 경우 ReWE는 BLEU 점수를 2.54점 향상시켰다.
• BPE 사용은 형태학적으로 복잡한 언어(체코-영어, 바스크-영어)에서 성능 향상을 가져왔지만, 영-불 번역에서는 효과가 없었으며, 언어에 따라 특화된 이점이 있음을 시사한다.
• 코사인 임베딩 손실(CEL)은 MSE보다 더 안정적인 학습 동역학을 보였으며, 특히 최적화기 재시작 시 큰 변동이 관찰된 MSE와 대비되었다.
• 통계적 유의성 검정을 통해 모든 데이터셋에서 성능 향상이 유의미함(p < 0.05)을 입증하였다.