[논문 리뷰] Improving Retrieval Modeling Using Cross Convolution Networks And Multi Frequency Word Embedding

Guozhen An, Mehrnoosh Shafiee외 1명|arXiv (Cornell University)|2018. 02. 15.

Topic Modeling참고 문헌 28인용 수 6

한 줄 요약

이 논문은 다중 전환 대화 시스템에서 응답 선택을 향상시키기 위해 크로스 컨볼루션 네트워크(CCN)와 다중 주파수 단어 임베딩(MFCW)을 제안한다. 빈도수별로 단어를 별도로 임베딩하고, 문맥과 응답 간의 단어 수준 유사도를 캡처함으로써, 앙상블 모델을 사용하여 우버토 대화 코퍼스에서 기존 최고 성능을 초월하는 새로운 SOTA 성능을 달성하였다. 결과적으로, Recall@1은 72.7%, Recall@2는 85.8%, Recall@5는 97.1%를 기록하였다.

ABSTRACT

To build a satisfying chatbot that has the ability of managing a goal-oriented multi-turn dialogue, accurate modeling of human conversation is crucial. In this paper we concentrate on the task of response selection for multi-turn human-computer conversation with a given context. Previous approaches show weakness in capturing information of rare keywords that appear in either or both context and correct response, and struggle with long input sequences. We propose Cross Convolution Network (CCN) and Multi Frequency word embedding to address both problems. We train several models using the Ubuntu Dialogue dataset which is the largest freely available multi-turn based dialogue corpus. We further build an ensemble model by averaging predictions of multiple models. We achieve a new state-of-the-art on this dataset with considerable improvements compared to previous best results.

연구 동기 및 목표

• 다중 전환 대화 응답 선택에서 RNN 기반 모델이 희귀 키워드를 포착하지 못하고 장거리 입력 시퀀스를 처리하는 데 한계를 보이는 문제를 해결하기 위해.
• 대화 문맥과 후보 응답 간의 의미적 및 맥락적 유사성 모델링을 향상시키기 위해.
• 대규모이고 비정형적인 다중 전환 대화 데이터셋인 우버토 대화 코퍼스에서 성능 향상을 위해.
• 응답 순위 매기기 위해 시퀀스 수준과 단어 수준 정보를 효과적으로 통합하는 방법을 개발하기 위해.
• 앙상블 모델링을 활용하여 검색 기반 대화 시스템에 대해 새로운 SOTA 벤치마크를 수립하기 위해.

제안 방법

• 문맥과 응답의 단어 수준 표현 간의 유사도를 계산하는 크로스 컨볼루션 네트워크(CCN)를 제안하여 세밀한 의미적 매칭을 캡처한다.
• 희귀어와 빈도수가 높은 단어를 별도의 임베딩 레이어로 처리하여, 저빈도이지만 신호가 강한 어휘의 의미 정보를 유지하는 다중 주파수 단어 임베딩(MFCW)을 도입한다.
• CCN과 LSTM을 결합하여, 문맥과 응답 내에서 국소적인 단어 수준의 유사성과 전반적인 시퀀스 수준의 의존성을 모두 모델링한다.
• 공통된 희귀어의 빈도를 측정하는 공통어 빈도(CWF) 레이어를 통합하여, 이들의 기여도를 최종 예측에 비례적으로 조정한다.
• Ubuntu 대화 코퍼스 v2에서 모델을 훈련하고, 일반화 성능 향상을 위해 개별 및 앙상블 추론 전략을 모두 사용한다.
• 다양한 아키텍처(MFCW-LSTM 및 CCN-LSTM)의 예측을 평균화하는 앙상블 모델을 활용하여 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 희귀어와 빈도수가 높은 단어를 별도로 모델링하는 이중 임베딩 전략이 다중 전환 대화에서 응답 선택 성능을 향상시키는가?
• RQ2 문맥과 응답 간의 단어 수준 유사도를 캡처하는 것이 순수하게 시퀀스 수준 모델링만을 사용하는 것보다 검색 성능을 어떻게 향상시키는가?
• RQ3 공통된 희귀어의 빈도를 통합할 경우, 응답 선택 정확도에 얼마나 큰 기여를 하는가?
• RQ4 CCN와 LSTM을 융합한 하이브리드 아키텍처가 긴 복잡한 대화 시퀀스에서 표준 RNN 기반 모델을 능가할 수 있는가?
• RQ5 다양한 전문화된 모델의 앙상블 학습이 우버토 대화 코퍼스에서 개별 모델 대비 유의미한 성능 향상을 이끌 수 있는가?

주요 결과

• CCN-LSTM 모델은 Recall@1 69.0%, Recall@2 82.2%, Recall@5 96.0%를 기록하여, 이중 LSTM 기반 베이스라인 대비 모든 지표에서 약 9% 향상된 성능을 보였다.
• 공통어 빈도(CWF) 레이어의 추가로 CCN-LSTM 모델의 성능 향상이 확인되었으며, 이는 희귀어 공통 발생이 정확한 응답 선택에 강력한 신호임을 시사한다.
• 앙상블 모델은 새로운 SOTA 성능을 달성하여 Recall@1 72.7%, Recall@2 85.8%, Recall@5 97.1%를 기록하였으며, 이는 이전 최고 성능 대비 각각 0.1%, 1.1%, 0.9% 향상된 결과이다.
• MFCW-LSTM 모델은 Recall@1에서 이중 LSTM 기반 베이스라인 대비 9% 향상되어, 희귀어와 빈도수가 높은 단어를 별도로 임베딩하는 전략의 효과성을 입증한다.
• MFCW와 CCN을 하나의 모델에 통합하는 것은 성능 향상에 기여하지 않았으며, 이는 두 접근 방식이 상호 보완적임을 시사하며 별도로 사용하는 것이 가장 효과적임을 의미한다.
• 결과는 희귀어 모델링과 단어 수준의 유사도 캡처가 개방형 다중 전환 대화에서 고정밀 응답 선택을 위해 필수적임을 확인한다.