[논문 리뷰] Enhance word representation for out-of-vocabulary on Ubuntu dialogue corpus

Jianxiong Dong, Jim Huang|arXiv (Cornell University)|2018. 02. 07.

Topic Modeling참고 문헌 37인용 수 27

한 줄 요약

이 논문은 대화 시스템에서 흔히 발생하는 OOV(Out-of-Vocabulary) 문제를 완화하기 위해 사전 학습된 GloVe 임베딩과 작업에 특화된 word2vec 벡터를 조합하는 하이브리드 단어 표현 방법을 제안한다. 이 벡터들을 연결하여 ESIM 모델에 통합하고, 문자 수준의 임베딩을 추가로 통합함으로써 Ubuntu 및 Douban 대화 데이터셋에서 최신 기준(SOTA) 성능을 달성하였다. 기존 모델 대비 R@1은 3.8% 향상되고, P@1은 3.6% 향상되었다.

ABSTRACT

Ubuntu dialogue corpus is the largest public available dialogue corpus to make it feasible to build end-to-end deep neural network models directly from the conversation data. One challenge of Ubuntu dialogue corpus is the large number of out-of-vocabulary words. In this paper we proposed a method which combines the general pre-trained word embedding vectors with those generated on the task-specific training set to address this issue. We integrated character embedding into Chen et al's Enhanced LSTM method (ESIM) and used it to evaluate the effectiveness of our proposed method. For the task of next utterance selection, the proposed method has demonstrated a significant performance improvement against original ESIM and the new model has achieved state-of-the-art results on both Ubuntu dialogue corpus and Douban conversation corpus. In addition, we investigated the performance impact of end-of-utterance and end-of-turn token tags.

연구 동기 및 목표

• 특히 Ubuntu 대화 코퍼스에 포함된 희귀어 및 기술어가 많기 때문에, 대화 시스템에서의 OOV 문제를 해결하기 위함이다.
• 일반 목적의 사전 학습된 임베딩(GloVe)과 작업의 학습 데이터로부터 학습된 도메인 특화 임베딩(word2vec)을 융합하여 단어 표현을 향상시키기 위함이다.
• 이 하이브리드 표현 방식이 다음 문장 선택을 위한 시퀀스 모델링 성능 향상에 얼마나 기여하는지 평가하기 위함이다.
• 특수 토큰인 문장 종료(__eou__) 및 대화 턴 종료(__eot__)가 모델 성능에 미치는 영향을 조사하기 위함이다.

제안 방법

• 제안된 방법은 Ubuntu 대화 코퍼스에서 학습된 word2vec 벡터와 사전 학습된 GloVe 단어 벡터를 연결하여 하이브리드 단어 표현을 구성한다.
• 이 하이브리드 벡터는 양방향 LSTM 인코더와 어텐션, 최대 풀링을 사용하는 강화된 순차적 추론 모델(ESIM)에 통합된다.
• 문자 수준의 임베딩은 문자 n-그램에 대한 CNN을 통해 통합되어, 서브워드 수준의 표현을 향상시키고 OOV 영향을 줄인다.
• 단어 수준과 문자 수준의 표현을 벡터 연결을 통해 통합함으로써 의미적 및 형태적 이해를 향상시킨다.
• 의도적으로 어휘에 __eou__ 및 __eot__ 특수 토큰을 포함시켜 문장과 터닝 경계의 구조를 유지한다.
• 이 방법은 Ubuntu 대화 코퍼스(V2)와 Douban 대화 코퍼스에 모두 적용되어 교차 데이터셋 평가가 수행되었다.

실험 결과

연구 질문

• RQ1 사전 학습된 임베딩과 작업에 특화된 단어 임베딩을 융합하는 것이 대화 모델링에서 OOV 단어의 영향을 상당히 감소시킬 수 있는가?
• RQ2 이 하이브리드 단어 표현 방식은 시퀀스 모델링 과제에서 단독으로 사전 학습된 임베딩 또는 단독으로 작업에 특화된 임베딩을 사용하는 것보다 성능이 뛰어나게 작용하는가?
• RQ3 특수 토큰 __eou__ 및 __eot__ 이 다중 터닝 대화 이해에서 모델 성능에 기여하는 정도는 어떠한가?
• RQ4 제안된 방법이 다양한 대화 데이터셋에 일반화되어 최고 성능(SOTA)을 달성할 수 있는가?
• RQ5 향상된 단어 표현 방식은 단순 평균 벡터 모델에서도 성능 향상에 기여하는가? 이는 더 넓은 적용 가능성을 시사한다.

주요 결과

• 제안된 하이브리드 단어 표현 방식은 Ubuntu 대화 코퍼스(V2)에서 이전 최고의 단일 모델 베이스라인 대비 R@1 점수를 3.8% 향상시켰으며, 앙상블 모델을 사용해 75.9%의 성능을 달성하였다.
• Douban 대화 코퍼스에서는 이전 최고 모델 대비 P@1 점수를 3.6% 향상시켜 강력한 일반화 능력을 입증하였다.
• 특수 토큰 __eou__ 및 __eot__ 을 포함시킨 결과 모델 성능이 크게 향상되었으며, 이 토큰들을 제거했을 경우 R@1 점수가 0.717에서 0.683으로 떨어졌다.
• 사례 연구 결과, __eou__ 및 __eot__ 토큰이 어텐션 메커니즘에서 높은 신호 강도를 보였으며, 대화 흐름 모델링에 유용한 구조적 정보를 담고 있음을 시사하였다.
• 단순 평균 벡터 모델 역시 향상된 벡터를 통해 성능 향상을 경험하여, 복잡한 아키텍처를 초월해도 효과적인 것으로 확인되었다.
• 이 방법은 경량이며 언어에 종속되지 않으며, 대부분의 딥 러닝 모델에 쉽게 통합되어 대화 및 NLP 과제에 응용될 수 있다.