[논문 리뷰] Training Neural Machine Translation using Word Embedding-based Loss

Katsuki Chousa, Katsuhito Sudoh외 1명|arXiv (Cornell University)|2018. 07. 30.

Natural Language Processing Techniques참고 문헌 17인용 수 13

한 줄 요약

이 논문은 사전에 훈련된 임베딩 공간 내에서의 거리에 따라 단어를 벌점하는 방식으로 의미 유사도를 반영한 단어 임베딩 기반 손실 함수를 제안한다. 올바른 단어가 OOV(사전 외어)일 경우 의미적으로 유사한 사전 내 단어를 생성하도록 모델을 유도함으로써 번역 품질을 향상시키며, IWSLT17 영어-프랑스 번역에서 최대 +1.72 BLEU 및 +1.99 METEOR 향상을 달성했고, 1,000단어 사전 크기 조건에서도 유의미한 성능 향상을 보였다.

ABSTRACT

In neural machine translation (NMT), the computational cost at the output layer increases with the size of the target-side vocabulary. Using a limited-size vocabulary instead may cause a significant decrease in translation quality. This trade-off is derived from a softmax-based loss function that handles in-dictionary words independently, in which word similarity is not considered. In this paper, we propose a novel NMT loss function that includes word similarity in forms of distances in a word embedding space. The proposed loss function encourages an NMT decoder to generate words close to their references in the embedding space; this helps the decoder to choose similar acceptable words when the actual best candidates are not included in the vocabulary due to its size limitation. In experiments using ASPEC Japanese-to-English and IWSLT17 English-to-French data sets, the proposed method showed improvements against a standard NMT baseline in both datasets; especially with IWSLT17 En-Fr, it achieved up to +1.72 in BLEU and +1.99 in METEOR. When the target-side vocabulary was very limited to 1,000 words, the proposed method demonstrated a substantial gain, +1.72 in METEOR with ASPEC Ja-En.

연구 동기 및 목표

• 사전 크기 제한으로 인한 계산 비용과 번역 품질 간의 상충 관계를 해결하기 위해.
• 사전 훈련된 단어 임베딩에서의 의미 유사도를 손실 함수에 통합하여 OOV 단어가 초래하는 부정적 영향을 줄이기 위해.
• 사전 외어 토큰 대신 의미적으로 가까운 사전 내 단어를 생성하도록 유도함으로써, 낮은 사전 크기 조건에서도 모델의 강건성을 향상시키기 위해.
• 기존의 표준 소프트맥스 교차엔트로피를 넘어서 사전 훈련된 단어 임베딩를 사용하여 단어 유사도를 명시적으로 모델링하는 손실 함수를 개발하기 위해.

제안 방법

• 제안된 손실 함수는 사전 훈련된 단어 임베딩 공간 내에서 참조 단어의 임베딩과 다른 모든 목표 단어의 임베딩 간 코사인 거리의 가중 평균을 계산한다.
• 가중치는 모델의 소프트맥스 출력 확률에서 유도되며, 생성 확률이 높은 단어일수록 임베딩 공간에서 참조 단어와 거리가 멀 경우 더 큰 벌점을 받는다.
• 손실 함수는 표준 NMT 훈련 파이프라인에 통합되며, 표준 교차엔트로피 손실을 대체하거나 보완하는 하이브리드 손실로 구성된다.
• 사전 훈련된 단어 임베딩(예: word2vec)은 NMT 훈련 데이터와 별개로 사용되어 의미 유사도를 정의하며, 이로써 모델은 정확한 단어가 누락되었을 경우 의미적으로 유사한 단어를 생성하도록 학습할 수 있다.
• 이 방법은 사전 훈련 및 미세조정 단계 모두에 적용되며, 제거 분석 결과에 따르면 교차엔트로피 사전 훈련 이후에 임베딩 손실을 사용할 경우 가장 우수한 성능을 보였다.

실험 결과

연구 질문

• RQ1 사전 훈련된 단어 임베딩에서의 의미 유사도를 NMT 손실 함수에 통합함으로써 OOV 단어가 초래하는 부정적 영향을 줄일 수 있는가?
• RQ2 의미적으로 거리가 먼 단어일수록 더 강하게 벌점을 주는 손실 함수는 특히 사전 크기 제약 조건 하에서 번역 품질을 향상시키는가?
• RQ3 다양한 언어 쌍과 사전 크기에서, 제안된 임베딩 기반 손실 함수는 표준 교차엔트로피 손실과 비교해 BLEU 및 METEOR 점수에서 어떤 성능을 보이는가?
• RQ4 제안된 방법을 통해 희귀어나 OOV 단어에 대해 의미적으로 유사한 사전 내 대체어를 생성함으로써 단어 선택을 향상시킬 수 있는가?

주요 결과

• IWSLT17 영어-프랑스 데이터셋에서 제안된 방법은 표준 NMT 베이스라인 대비 +1.72 BLEU 및 +1.99 METEOR 향상을 달성했다.
• 오직 1,000단어의 매우 제한된 목표 사전 크기 조건에서도, ASPEC 일본어-영어 데이터셋에서 +1.72 METEOR 향상을 기록하여 극한의 OOV 조건 하에서도 강건성을 입증했다.
• 임베딩 기반 손실로 훈련된 모델은 'eyeball'에 대해 '<unk>' 대신 의미적으로 타당한 사전 내 단어인 'eye'를 생성했고, 'moldings'에 대해 '<unk>' 대신 'extrusion form'을 생성함으로써 단어 선택의 향상을 보였다.
• 이 방법은 ASPEC (Ja-En) 및 IWSLT17 (En-Fr) 데이터셋 전반에서 번역 성능을 일관되게 향상시켰으며, 영어-프랑스 쌍에서 더 큰 향상을 보였다.
• 제거 분석 결과, 교차엔트로피 사전 훈련 이후에 임베딩 손실을 사용할 경우 가장 우수한 성능을 기록했으며, 이는 두 손실 구성 요소가 상호 보완적인 이점을 가짐을 확인했다.