[논문 리뷰] Two are Better than One: An Ensemble of Retrieval- and Generation-Based Dialog Systems

Yiping Song, Rui Yan외 3명|arXiv (Cornell University)|2016. 10. 23.

Topic Modeling참고 문헌 29인용 수 87

한 줄 요약

이 논문은 검색 기반 및 생성 기반 오픈도메인 대화 시스템을 조합하는 앙상블 모델을 제안하여 응답 품질을 향상시킨다. 사용자 질의와 검색된 후보 응답을 함께 입력으로 주어진 biseq2seq 생성기에서 응답을 생성하고, 이후로 검색된 응답과 생성된 응답을 모두 재순서 정렬함으로써, 개별 구성 요소보다도 유의미하게 뛰어난 성능을 내며 BLEU, ROUGE 및 인간 평가 점수를 포함한 여러 지표에서 최신 기술 수준을 달성한다.

ABSTRACT

Open-domain human-computer conversation has attracted much attention in the field of NLP. Contrary to rule- or template-based domain-specific dialog systems, open-domain conversation usually requires data-driven approaches, which can be roughly divided into two categories: retrieval-based and generation-based systems. Retrieval systems search a user-issued utterance (called a query) in a large database, and return a reply that best matches the query. Generative approaches, typically based on recurrent neural networks (RNNs), can synthesize new replies, but they suffer from the problem of generating short, meaningless utterances. In this paper, we propose a novel ensemble of retrieval-based and generation-based dialog systems in the open domain. In our approach, the retrieved candidate, in addition to the original query, is fed to an RNN-based reply generator, so that the neural model is aware of more information. The generated reply is then fed back as a new candidate for post-reranking. Experimental results show that such ensemble outperforms each single part of it by a large margin.

연구 동기 및 목표

• 오픈도메인 대화에서 검색 기반 시스템은 창의성이 떨어지고 생성 기반 모델은 일반적인 응답을 생성한다는 한계를 해결하기 위해.
• 검색과 생성을 융합함으로써 두 접근법의 강점을 살려 더 나은 성능을 낼 수 있는지 탐색하기 위해.
• 검색된 후보를 응답 생성 과정에 통합하는 영향과 후속 재순서 정렬이 최종 응답 선택 품질을 향상시키는 데 기여하는지 조사하기 위해.
• 제거 실험과 사례 분석을 통해 앙상블의 효과성을 검증하기 위해.

제안 방법

• 시스템은 대규모 쿼리-응답 쌍 데이터베이스에서 표준 정보 검색 방법을 사용해 후보 응답을 먼저 검색한다.
• 검색된 응답과 원본 질의를 함께 인코딩하기 위해 biseq2seq 모델을 사용하며, 이는 두 시퀀스에 모두 주의를 기울여 새로운 응답을 생성한다.
• 생성된 응답은 동일한 검색 시스템의 스코어러에 의해 재평가되어, 검색된 응답과 생성된 응답을 모두 포함한 재정렬된 후보 목록을 생성한다.
• 최종 응답은 재정렬 스코어를 기반으로 선택되어 관련성과 의미적 품질을 확보한다.
• biseq2seq 모델은 질의와 검색된 응답을 별도로 인코딩하는 듀얼 인코더 아키텍처를 사용하며, 최종 은닉 상태를 연결하여 디코더의 초기 상태로 사용한다.
• 후속 재순서 정렬은 동일한 검색 모델의 스코어링 함수를 사용하여 검색된 후보와 생성된 후보를 모두 재평가하고 재정렬하며, 가장 높은 스코어를 가진 것을 선택한다.

실험 결과

연구 질문

• RQ1 검색 기반 및 생성 기반 시스템을 융합하면 오픈도메인 대화 시스템에서 응답 품질이 향상되는가?
• RQ2 검색된 후보를 생성기의 입력에 통합함으로써 일반적인 응답의 '내용 부족' 문제를 완화할 수 있는가?
• RQ3 검색된 후보와 생성된 후보 중에서 최상의 응답을 선택하는 데 후속 재순서 정렬이 효과적인가?
• RQ4 biseq2seq 생성기와 후속 재순서 정렬 메커니즘이 앙상블 성능에 기여하는 데 중요한가?

주요 결과

• 모든 평가 지표, 즉 BLEU, ROUGE 및 인간 평가 점수에서 앙상블 모델이 검색 전용 및 생성 전용 베이스라인을 모두 능가한다.
• 표준 seq2seq보다 biseq2seq 생성기가 더 의미 있는 응답을 생성하며, 검색된 응답의 핵심 어휘가 종종 생성된 출력에 나타난다.
• 후속 재순서 정렬은 저품질의 생성 또는 검색된 응답을 걸러내어 성능을 크게 향상시키며, 최적 설정에서 최종 선택의 44.77%가 생성된 응답이었다.
• 제거 실험 결과, biseq2seq 생성기와 후속 재순서 정렬 메커니즘이 모두 필수적임을 확인하였으며, 둘 중 하나를 제거하면 성능 저하가 발생한다.
• biseq2seq 기반 모델에서 생성된 응답의 선택 비율이 55.23%에 달하여 생성기의 기여도가 뚜렷하다.
• 자동 평가 및 인간 평가 모두에서 베이스라인을 뛰어넘는 일관된 성능을 보이며, 앙상블 전략의 효과성을 입증한다.