[논문 리뷰] Diversifying Task-oriented Dialogue Response Generation with Prototype Guided Paraphrasing

Phillip Lippe, Pengjie Ren외 3명|arXiv (Cornell University)|2020. 08. 07.

Speech and dialogue systems인용 수 7

한 줄 요약

이 논문은 프로토타입 유도형 복구 신경망인 P2-Net을 제안하며, 다양한 맥락 인식 복구 문장을 사용해 템플릿 기반 응답을 정교화하여 임무 중심 대화 응답 생성을 향상시킨다. 의미, 맥락 스타일, 노이즈를 분리하고, 무작위 대화 프로토타입을 사용해 스타일적 다양성을 주입함으로써, P2-Net은 의미 정확성을 유지하면서도 응답 다양성에서 뚜렷한 향상을 이룬다. MultiWOZ에서의 자동 평가 및 인간 평가를 통해 검증되었다.

ABSTRACT

Existing methods for Dialogue Response Generation (DRG) in Task-oriented Dialogue Systems (TDSs) can be grouped into two categories: template-based and corpus-based. The former prepare a collection of response templates in advance and fill the slots with system actions to produce system responses at runtime. The latter generate system responses token by token by taking system actions into account. While template-based DRG provides high precision and highly predictable responses, they usually lack in terms of generating diverse and natural responses when compared to (neural) corpus-based approaches. Conversely, while corpus-based DRG methods are able to generate natural responses, we cannot guarantee their precision or predictability. Moreover, the diversity of responses produced by today's corpus-based DRG methods is still limited. We propose to combine the merits of template-based and corpus-based DRGs by introducing a prototype-based, paraphrasing neural network, called P2-Net, which aims to enhance quality of the responses in terms of both precision and diversity. Instead of generating a response from scratch, P2-Net generates system responses by paraphrasing template-based responses. To guarantee the precision of responses, P2-Net learns to separate a response into its semantics, context influence, and paraphrasing noise, and to keep the semantics unchanged during paraphrasing. To introduce diversity, P2-Net randomly samples previous conversational utterances as prototypes, from which the model can then extract speaking style information. We conduct extensive experiments on the MultiWOZ dataset with both automatic and human evaluations. The results show that P2-Net achieves a significant improvement in diversity while preserving the semantics of responses.

연구 동기 및 목표

• 템플릿 기반 시스템의 응답 정밀도와 신경 코퍼스 기반 시스템의 유창성/다양성 간의 상충 관계를 해결하기 위해.
• 의미적 충실도를 훼손하지 않으면서도 임무 중심 대화 응답의 자연스러움과 다양성을 향상시키기 위해.
• 대화 맥락과 이전 대화 문장을 프로토타입으로 활용하여 응답 생성 시 스타일적 다양성을 유도하는 방법을 개발하기 위해.
• 시스템 동작 의미에 엄격히 부합하면서도 더 인간다운 다양한 응답을 생성할 수 있도록 하기 위해.

제안 방법

• P2-Net은 응답 요소를 의미(템플릿 응답에서 유도), 맥락 스타일(대화 프로토타입에서 유도), 복구 노이즈로 분리한다.
• 프로토타입 기반 메커니즘을 사용해 이전 대화 턴을 무작위로 샘플링하여 복구 스타일 참조로 활용한다.
• 의미와 맥락 스타일을 별도로 인코딩하여 복구 과정에서 의미의 무결성이 유지되도록 보장한다.
• 신경 복구 네트워크를 활용하여 프로토타입에서 유도된 스타일 임베딩과 의미 입력을 조합해 다양한 맥락 인식 응답을 생성한다.
• 의미와 맥락을 위한 별도의 인코더를 사용하며, 응답을 정렬하고 개선하기 위해 교차 attention 메커니즘을 적용한다.
• 추론 과정에서 P2-Net은 각 응답에 대해 다수의 프로토타입을 샘플링하여, 비드 검색 확률 편향에 의존하지 않고도 확률적이고 스타일 다양성이 있는 생성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 임무 중심 대화에서 템플릿 기반 응답 생성의 정밀도와 신경 코퍼스 기반 생성의 다양성을 통합할 수 있는가?
• RQ2 시스템 동작 의미를 유지하면서 응답에 스타일적 다양성을 효과적으로 주입할 수 있는가?
• RQ3 프로토타입 기반 복구가 의미 정확도를 떨어뜨리지 않고 응답 다양성을 얼마나 향상시킬 수 있는가?
• RQ4 비드 검색과 비교해 프로토타입 샘플링은 얼마나 자연스럽고 다양한 대화 응답을 생성하는 데 효과적인가?

주요 결과

• 자동 평가 및 인간 평가를 통해 P2-Net은 기준 모델 대비 응답 다양성에서 뚜렷한 향상을 보였다.
• 인간 평가자들은 P2-Net의 응답이 더 다양하고 자연스럽다고 평가했으며, 문장 구조와 말투의 다양성이 높았다.
• 비드 검색에서 반복적인 패턴을 보이는 것과는 달리, P2-Net은 '시도해 보시겠어요?', '어때요?', '어떻게 생각하세요?'와 같은 다양한 응답을 생성했다.
• P2-Net은 생성 초기 단계에서 높은 확률을 가진 슬롯 단어의 지배를 줄여, 비드 검색의 초기 슬롯 삽입 편향을 피했다.
• 다른 한편으로는 일부 응답에서 의미적 일관성이 떨어지는 경우가 있었으며, 예를 들어 옵션 수에 대한 참조가 맞지 않거나 슬롯 해석이 상충하는 경우가 있었다.
• 응답 생성 시 템플릿 내 암묵적 의미(예: '많은' 기차)를 간과하는 경우가 있어, 더 나은 의미 기반 정착이 필요함을 시사한다.