[논문 리뷰] Von Mises-Fisher Loss for Training Sequence to Sequence Models with Continuous Outputs

Sachin Kumar, Yulia Tsvetkov|arXiv (Cornell University)|2018. 12. 10.

Natural Language Processing Techniques인용 수 54

한 줄 요약

본 논문은 softmax를 연속 임베딩 기반 출력으로 대체하고 seq2seq 모델을 학습시키기 위해 von Mises-Fisher 손실을 도입하여, 특히 큰 어휘에서 더 빠른 학습과 경쟁력 있는 번역 품질을 달성한다.

ABSTRACT

The Softmax function is used in the final layer of nearly all existing sequence-to-sequence models for language generation. However, it is usually the slowest layer to compute which limits the vocabulary size to a subset of most frequent types; and it has a large memory footprint. We propose a general technique for replacing the softmax layer with a continuous embedding layer. Our primary innovations are a novel probabilistic loss, and a training and inference procedure in which we generate a probability distribution over pre-trained word embeddings, instead of a multinomial distribution over the vocabulary obtained via softmax. We evaluate this new class of sequence-to-sequence models with continuous outputs on the task of neural machine translation. We show that our models obtain upto 2.5x speed-up in training time while performing on par with the state-of-the-art models in terms of translation quality. These models are capable of handling very large vocabularies without compromising on translation quality. They also produce more meaningful errors than in the softmax-based models, as these errors typically lie in a subspace of the vector space of the reference translations.

연구 동기 및 목표

• 큰 어휘로 인한 seq2seq 모델에서 softmax의 계산 병목을 줄이는 것을 동기로 삼는다.
• 단어 확률 대신 임베딩을 예측하는 연속 출력 아키텍처를 제안한다.
• von Mises-Fisher 분포를 기반으로 한 확률적 손실을 도입하여 이러한 모델을 학습시킨다.
• 여러 언어에 걸친 IWSLT 및 WMT 데이터셋에서 번역 품질과 학습 효율성을 평가한다.
• 오류 모드와 임베딩 품질이 번역 결과에 미치는 영향을 분석한다.

제안 방법

• 각 출력 단어를 고정 크기 임베딩으로 표현하고 디코딩 시 점진적으로 연속 벡터를 예측한다.
• 디코딩 중 예측 벡터를 단어에 매핑하기 위해 임베딩 공간에서 최근접 이웃 탐색을 사용한다.
• von Mises-Fisher 분포를 기반으로 한 확률적 손실을 정의하여 올바른 단어 임베딩의 가능성을 최대화한다.
• 출력 벡터의 노름을 제어하는 항으로 손실을 정규화하여 학습을 안정화한다.
• 다양한 임베딩(word2vec, fastText) 및 손실 변형(NLLvMF_reg1, NLLvMF_reg1+reg2, MaxMargin, L2, Cosine)을 실험한다.
• 디코더 입력 임베딩을 사전 학습된 대상 임베딩에 묶어 파라미터 수를 줄이고 수렴 속도를 높인다.

실험 결과

연구 질문

• RQ1 연속 임베딩 기반 출력 계층이 번역 품질을 희생하지 않으면서 seq2seq 모델에서 softmax를 대체할 수 있는가?
• RQ2 vMF 기반 손실이 임베딩 출력에 대한 회귀 손실에 이론적으로 타당한 대안을 제공하는가?
• RQ3 임베딩 최근접 이웃을 통한 오픈 어휘 디코딩이 MT 작업에서 BPE와 같은 서브워드 방법과 어떻게 비교되는가?
• RQ4 임베딩 품질과 정규화가 번역 성능 및 희귀 단어 처리에 어떤 영향을 미치는가?
• RQ5 이러한 프레임워크가 큰 어휘와 더 큰 데이터셋으로 확장되더라도 학습 효율성을 유지할 수 있는가?

주요 결과

• 연속 출력 모델은 softmax 기반 기준선보다 최대 2.5배 빠르게 학습할 수 있다.
• 가장 잘 작동하는 손실들(MaxMargin 및 NLLvMF 변형)은 경쟁력 있는 BLEU 점수를 달성하고, 일부 언어 쌍에서 강력한 BPE 기준선을 능가한다.
• 사전 학습된 fastText 임베딩 사용 및 디코더 입력을 목표 임베딩에 묶는 것은 파라미터를 줄이고 수렴 속도를 높인다.
• 모델은 희귀 단어의 번역을 개선하고 정확한 단어 매칭이 없을 때 의미적으로 관련되거나 동의어 번역을 생성한다.
• 임베딩 최근접 이웃을 통한 오픈 어휘 디코딩은 품질이나 속도를 저하하지 않고 큰 어휘를 처리하게 한다.