[논문 리뷰] Sequence to Backward and Forward Sequences: A Content-Introducing Approach to Generative Short-Text Conversation

Lili Mou, Yiping Song외 4명|arXiv (Cornell University)|2016. 07. 04.

Topic Modeling참고 문헌 25인용 수 191

한 줄 요약

논문은 키워드를 PMI로 예측하고 키워드를 중심으로 역방향 및 순방향 시퀀스를 구성하는 seq2BF 모델로 키워드를 포함한 대화 응답을 생성하는 콘텐츠 도입(content-introducing) 접근법을 제시합니다.

ABSTRACT

Using neural networks to generate replies in human-computer dialogue systems is attracting increasing attention over the past few years. However, the performance is not satisfactory: the neural network tends to generate safe, universally relevant replies which carry little meaning. In this paper, we propose a content-introducing approach to neural network-based generative dialogue systems. We first use pointwise mutual information (PMI) to predict a noun as a keyword, reflecting the main gist of the reply. We then propose seq2BF, a "sequence to backward and forward sequences" model, which generates a reply containing the given keyword. Experimental results show that our approach significantly outperforms traditional sequence-to-sequence models in terms of human evaluation and the entropy measure, and that the predicted keyword can appear at an appropriate position in the reply.

연구 동기 및 목표

• 신경망 대화 시스템에서 보편적이고 지루한 응답을 극복할 필요성을 동기 부여합니다.
• 두 단계 접근법 제안: (i) PMI를 통한 명사 키워드 예측으로 응답의 요지를 포착, (ii) seq2BF로 키워드를 포함한 유창한 응답 생성.
• 콘텐츠 키워드를 포함시키면 인간 평가 및 전통적인 seq2seq 모델에 비해 정보 내용이 향상됨을 입증합니다.

제안 방법

• 쿼리 단어에 대해 PMI를 사용하여 응답의 명사 키워드를 예측합니다.
• 키워드에서 역방향 시퀀스를 먼저 생성한 다음 키워드와 쿼리에 조건화된 정방향 시퀀스로 응답을 생성하는 seq2BF 모델을 사용합니다.
• asyn-B/F 변형으로 별도의 역방향 및 정방향 시퀀스-투-시퀀스 구성요소를 가진 seq2BF를 구현합니다.
• 무작위로 분할된 응답 시퀀스의 역 반절을 사용해 역생성기를 학습하여 제약된 생성을 학습합니다.
• 부분 응답과 키워드에 조건화된 표준 seq2seq 인코더-디코더로 구성된 정방향 생성기를 학습합니다.

실험 결과

연구 질문

• RQ1 PMI 기반 키워드 예측이 대화의 관련성을 개선하는 콘텐츠 풍부한 키워드를 생성할 수 있는가?
• RQ2 seq2BF 메커니즘이 예측된 키워드가 임의의 위치에 나타나면서도 유창함을 유지하게 할 수 있는가?
• RQ3 콘텐츠 도입 seq2BF 모델이 인간 평가 및 엔트로피 기반 지표에서 순수 seq2seq 및 콘텐츠 도입이 없는 seq2BF 모델보다 우수한가?

주요 결과

• 콘텐츠 도입 seq2BF가 키워드 콘텐츠 도입이 없는 seq2BF 및 seq2seq에 비해 인간 평가 점수에서 더 높은 점수를 얻습니다.
• 콘텐츠 도입이 있는 seq2BF는 키워드가 없는 seq2BF에 비해 응답의 엔트로피를 약 30% 증가시켜 더 풍부한 정보를 반영합니다.
• 키워드를 포함하는 seq2BF 모델이 더 길고 더 정보가 풍부한 응답을 생성하여 기준 모델을 인간 평가에서 상호 평가에서 능가합니다.
• 사례 연구에서 키워드가 응답의 다양한 위치에 배치될 수 있으며 유창성을 해치지 않는다는 것을 보여줍니다.
• 내재적 지표는 seq2BF+가 기준에 비해 더 풍부한 콘텐츠(더 높은 엔트로피)를 생산하면서 합리적 길이를 유지함을 시사합니다.