[논문 리뷰] Alquist 4.0: Towards Social Intelligence Using Generative Models and Dialogue Personalization

Jakub Konrád, Jan Pichl외 6명|arXiv (Cornell University)|2021. 09. 16.

Topic Modeling참고 문헌 27인용 수 11

한 줄 요약

Alquist 4.0은 수동으로 설계된 대화 흐름과 미세튜닝된 DialoGPT 기반 신경 응답 생성기(NRG)를 융합한 하이브리드 대화 시스템을 도입하여 개방형 대화에서의 통일성과 참여도를 향상시킨다. 사용자가 도메인 외의 입력을 제공할 경우 이를 탐지하고, 특히 퀴즈 관련 추적 질문을 생성함으로써 맥락에 맞는 응답을 제공함으로써 대화의 흐름을 유지하면서도 개인화된 상호작용을 실현한다. 이 시스템은 응답 유형(진술/질문) 제어 정확도가 90% 이상이며, GPU 기반으로 400ms 이내의 추론 시간을 확보하여 실시간 구동이 가능하다.

ABSTRACT

The open domain-dialogue system Alquist has a goal to conduct a coherent and engaging conversation that can be considered as one of the benchmarks of social intelligence. The fourth version of the system, developed within the Alexa Prize Socialbot Grand Challenge 4, brings two main innovations. The first addresses coherence, and the second addresses the engagingness of the conversation. For innovations regarding coherence, we propose a novel hybrid approach combining hand-designed responses and a generative model. The proposed approach utilizes hand-designed dialogues, out-of-domain detection, and a neural response generator. Hand-designed dialogues walk the user through high-quality conversational flows. The out-of-domain detection recognizes that the user diverges from the predefined flow and prevents the system from producing a scripted response that might not make sense for unexpected user input. Finally, the neural response generator generates a response based on the context of the dialogue that correctly reacts to the unexpected user input and returns the dialogue to the boundaries of hand-designed dialogues. The innovations for engagement that we propose are mostly inspired by the famous exploration-exploitation dilemma. To conduct an engaging conversation with the dialogue partners, one has to learn their preferences and interests -- exploration. Moreover, to engage the partner, we have to utilize the knowledge we have already learned -- exploitation. In this work, we present the principles and inner workings of individual components of the open-domain dialogue system Alquist developed within the Alexa Prize Socialbot Grand Challenge 4 and the experiments we have conducted to evaluate them.

연구 동기 및 목표

• 예측된 대화 흐름에서 벗어나는 예기치 않은 사용자 입력을 처리함으로써 개방형 대화 시스템의 통일성을 향상시키기.
• 사용자 상호작용 과정에서 학습한 선호도를 기반으로 대화를 개인화함으로써 사용자 참여도를 향상시키기.
• 응답 품질이나 추론 속도에 손상이 가지 않도록 생성 모델을 구조화된 대화 시스템에 효과적으로 통합하기.
• 실시간 대화 관리에서 탐색(사용자 선호도 학습)과 활용(학습된 선호도 활용)의 균형을 이루기.
• 맥락에 맞는 진술과 질문을 생성할 수 있는 확장 가능하고 제어 가능한 신경 응답 생성기를 개발하기.

제안 방법

• 수동으로 설계된 대화 그래프와 신경 응답 생성기를 융합한 하이브리드 아키텍처를 구현하며, 사전 정의된 흐름이 고품질의 상호작용을 이끌도록 한다.
• 도메인 외(OOD) 입력 탐지는 스크립트된 대화의 범위를 벗어나는 입력을 식별하기 위해 의도 분류기의 확장으로 구현된다.
• 특수 토큰(STATEMENT, QUESTION)에 조건화된 미세튜닝된 DialoGPT 모델을 사용하여 응답 유형 제어 및 통일성 향상.
• 신경 응답 생성기(NRG)는 OOD 입력에 대한 응답과 퀴즈에 대한 추적 질문을 생성하여 대화의 연속성을 보장한다.
• 스키머는 입력에서 사용자가 언급한 실체와 관심사를 추출하여 사용자 프로필을 구성하며, 개인화된 대화 관리에 활용된다.
• 대화 관리자(대화 매니저)는 사용자 프로필을 기반으로 적절한 대화 경로, 퀴즈 또는 응답을 선택하여 학습된 선호도를 활용한다.

실험 결과

연구 질문

• RQ1 사용자가 사전 정의된 대화 흐름에서 벗어날 경우 대화 시스템은 어떻게 통일성을 유지할 수 있는가?
• RQ2 미세튜닝된 생성 모델이 개방형 대화에서 맥락에 부합하고 제어 최적화된 응답(진술 대비 질문)을 얼마나 잘 생성할 수 있는가?
• RQ3 실시간으로 사용자 선호도를 효과적으로 학습하고 활용하여 참여도 향상에 얼마나 기여할 수 있는가?
• RQ4 실시간 대화 시스템에 생성 모델을 구현할 때 응답 품질, 제어 능력, 추론 속도 사이의 상충 관계는 어떻게 평가할 수 있는가?
• RQ5 스크립트된 대화와 신경 생성을 융합한 하이브리드 시스템이 순수 규칙 기반 또는 엔드 투 엔드 생성 모델보다 통일성과 참여도 측면에서 뛰어난 성능을 보일 수 있는가?

주요 결과

• EmpatheticDialogues 데이터셋으로 미세튜닝된 대규모 DialoGPT 모델이 도메인 외(OOD) 응답 생성 작업에서 최고의 성능을 기록했다.
• Topical-Chat 데이터셋으로 미세튜닝된 대규모 DialoGPT 모델이 퀴즈에 대한 추적 질문 생성에서 최고의 성능을 기록했다.
• 대부분의 모델 버전에서 응답 유형 제어(진술 대비 질문) 정확도가 90% 이상을 기록하여 출력 형식에 대한 강력한 제어 능력을 입증했다.
• 대규모 DialoGPT 모델은 GPU에서 다섯 개의 응답 변형을 400ms 이내로 생성하여 실시간 배포에 적합함을 입증했다.
• 생성된 응답은 입력에서 언급된 실체와 활동을 정확히 참조하여 맥락적 관련성과 통일성을 입증했다.
• OOD 탐지와 NRG의 통합으로 사용자가 예상치 못한 주제를 도입하더라도 대화 흐름을 유지할 수 있었다.