[논문 리뷰] Another Diversity-Promoting Objective Function for Neural Dialogue Generation

R. Nakamura, Katsuhito Sudoh외 2명|arXiv (Cornell University)|2018. 11. 20.

Topic Modeling참고 문헌 6인용 수 19

한 줄 요약

이 논문은 신경 대화 생성에서 빈도가 높은 토큰을 가중치를 낮추고 희귀한 토큰을 높이는 방식으로 학습 중에 응답의 다양성을 향상시키는 새로운 목적 함수인 Inverse Token Frequency (ITF) 손실을 제안한다. 모델 아키텍처를 수정하지 않고 손실 함수만 교체함으로써, OpenSubtitles에서 최고 수준의 유니그램 다양성(DIST-1 = 7.56)을 달성하면서도 강력한 BLEU-1 점수를 유지하며, MLE 및 MMI 기준선을 능가한다.

ABSTRACT

Although generation-based dialogue systems have been widely researched, the response generations by most existing systems have very low diversities. The most likely reason for this problem is Maximum Likelihood Estimation (MLE) with Softmax Cross-Entropy (SCE) loss. MLE trains models to generate the most frequent responses from enormous generation candidates, although in actual dialogues there are various responses based on the context. In this paper, we propose a new objective function called Inverse Token Frequency (ITF) loss, which individually scales smaller loss for frequent token classes and larger loss for rare token classes. This function encourages the model to generate rare tokens rather than frequent tokens. It does not complicate the model and its training is stable because we only replace the objective function. On the OpenSubtitles dialogue dataset, our loss model establishes a state-of-the-art DIST-1 of 7.56, which is the unigram diversity score, while maintaining a good BLEU-1 score. On a Japanese Twitter replies dataset, our loss model achieves a DIST-1 score comparable to the ground truth.

연구 동기 및 목표

• 신경 대화 생성에서 모델이 '나도 몰라'와 같은 일반적인 응답을 자주 생성하는 낮은 다양성 문제를 해결하기 위해.
• 모델 품질을 해치지 않거나 복잡한 모델 수정을 요구하지 않고도 응답 다양성을 향상시키기 위해.
• 희귀하고 맥락에 부합하는 토큰을 생성하도록 유도하는 단순하고 안정적이며 효과적인 손실 함수를 개발하기 위해.
• 모델 아키텍처 변경이나 사전 훈련이 필요한 GAN, VAE, 강화 학습과 같은 복잡한 방법들에 대한 대안을 제공하기 위해.

제안 방법

• 소프트맥스 교차엔트로피(SCE) 손실의 빈도 가중치 버전으로 Inverse Token Frequency (ITF) 손실을 제안한다.
• 손실에 역빈도 스케일링을 적용한다: $ w_c = 1 / \text{freq}(\text{token}_c)^\lambda $, 여기서 $ \lambda $는 가중치 강도를 조절한다.
• 가중치가 적용된 손실 $ L_{\text{ITF}} = w_c \cdot L_{\text{SCE}} $ 를 사용하여 빈도가 높은 토큰의 기울기를 감소시키고 희귀한 토큰의 기울기를 증가시킨다.
• 모델 아키텍처와 훈련 파이프라인은 MLE와 동일하게 유지하며, 목적 함수만 교체한다.
• 훈련 세트 전체에서 토큰 빈도를 계산하기 위해 서브워드 토크나이제이션(Sentencepiece, 32k 보편어휘)을 사용한다.
• 다양성과 유창성의 균형을 맞추기 위해 하이퍼파rameter $ \lambda $ 를 튜닝하며, 최적 성능은 $ \lambda = 0.4 $ 에서 달성된다.

실험 결과

연구 질문

• RQ1 복잡한 생성 모델이 아닌 단순한 비생성적 손실 함수가 아키텍처 변경 없이 응답 다양성을 향상시킬 수 있는가?
• RQ2 빈도 기반 손실 가중치가 '나도 몰라'와 같은 일반적인 표현의 과도한 사용을 효과적으로 줄일 수 있는가?
• RQ3 ITF 손실이 높은 유창성(BLEU로 측정)을 유지하면서도 유니그램 다양성(DIST-1)을 크게 향상시킬 수 있는가?
• RQ4 GAN, VAE, MMI와 같은 고급 방법들과 비교해 ITF는 다양성과 훈련 안정성 측면에서 어떻게 성능을 내는가?
• RQ5 ITF 손실은 영어 및 일본어 대화 데이터셋 모두에서 더 맥락에 부합하고 반복적이지 않은 응답을 생성하는 데 기여하는가?

주요 결과

• OpenSubtitles 데이터셋에서 ITF 손실 모델은 최고 수준의 유니그램 다양성 점수인 DIST-1 = 7.56을 달성하며, MLE 및 MMI 기준선을 크게 앞서 간다.
• ITF 모델은 높은 BLEU-1 점수를 유지하여, 다양성이 증가했음에도 불구하고 강력한 유창성과 일관성을 보인다.
• 일본어 트위터 응답 데이터셋에서 ITF 모델은 지표 응답과 유사한 유니그램 다양성을 생성하여 자연스럽고 다양한 응답을 만든다는 점을 시사한다.
• 인간 평가 결과, $ \lambda \leq 0.7 $ 일 경우 심각한 문법 오류가 없었으며, 안정적이고 자연스러운 생성이 가능함을 나타낸다.
• ITF 손실 함수는 훈련 중에 안정적이며, GAN 또는 강화 학습 기반 방법과 달리 사전 훈련이 필요하지 않다.
• 손실 재가중만으로도 MMI 기반 추론 모델보다 다양성과 품질 측면에서 뛰어난 성능을 보이며, 손실 함수 재설정 자체만으로도 높은 성능 향상을 이끌 수 있음을 입증한다.