[논문 리뷰] Alquist 2.0: Alexa Prize Socialbot Based on Sub-Dialogue Models

Jan Pichl, Petr Marek외 3명|arXiv (Cornell University)|2020. 11. 06.

Topic Modeling참고 문헌 17인용 수 12

한 줄 요약

Alquist 2.0은 Alexa Prize 2018를 위한 모듈러하고 온톨로지 기반의 대화 시스템을 도입하며, 주제 노드와 각 하위 대화에 대해 별도의 LSTM 기반 대화 관리(DM) 모델을 사용하여 동적이고 맥락 인식형이며 반복적이지 않은 대화를 가능하게 한다. 이 시스템은 의도 및 주제 전환 탐지 기능을 통해 참여도를 향상시키며, A/B 테스트에서 높은 사용자 평가를 기록한다. 특히 어휘 다듬기와 트리비아 밀도 감소가 사용자 만족도를 크게 향상시킨다.

ABSTRACT

This paper presents the second version of the dialogue system named Alquist competing in Amazon Alexa Prize 2018. We introduce a system leveraging ontology-based topic structure called topic nodes. Each of the nodes consists of several sub-dialogues, and each sub-dialogue has its own LSTM-based model for dialogue management. The sub-dialogues can be triggered according to the topic hierarchy or a user intent which allows the bot to create a unique experience during each session.

연구 동기 및 목표

• Alexa Prize 2018 경쟁에서 오픈 도메인 대화에 적합한 더 매력적이고 반복적이지 않은 대화 에이전트를 설계하기 위해.
• 주제 노드 기반의 모듈러한 하위 대화 관리 구조를 통해 대화의 일관성과 사용자 참여도를 향상시키기 위해.
• 각 하위 대화에 대해 별도의 LSTM 기반 대화 관리 모델을 사용하여 동적 주제 전환과 의도 기반 대화 흐름을 가능하게 하기 위해.
• 맞춤형 웹 기반 에디터와 자동화된 모델 훈련 파이프라인을 통해 콘텐츠 제작 및 시스템 유지를 간소화하기 위해.
• 실제 사용자 상호작용을 대상으로 어휘 다듬기, 트리비아 밀도, 엔티티 전환과 같은 설계 선택 사항을 A/B 테스트를 통해 경험적으로 평가하기 위해.

제안 방법

• 시스템은 대화 콘텐츠를 트리 구조로 정렬된 주제 노드로 구성하며, 각 노드는 특정 하위 주제에 집중한 여러 하위 대화를 포함한다.
• 각 하위 대화는 하이브리드 코드 네트워크를 영감으로 삼은 별도의 LSTM 기반 대화 관리 모델에 의해 관리되며, 합성 및 실제 사용자 데이터 기반으로 훈련된다.
• 주제 전환 탐지기와 의도 분류기가 사용자 입력과 맥락을 바탕으로 다음 하위 대화를 동적으로 선택하여 원활한 주제 전환을 가능하게 한다.
• 비기술자도 대화 구조를 설계할 수 있도록 맞춤형 웹 기반 에디터를 제공하며, 이는 자동으로 대화 관리 모델과 관련 자바 코드를 생성한다.
• 대화 기록, 엔티티, 의도 주석 등 맥락 정보는 DynamoDB에 지속적으로 저장되며, 빠른 검색과 분석을 위해 Elasticsearch에도 동기화된다.
• AWS Lambda와 도커라이즈된 마이크로서비스를 사용하여 확장성 있고 모듈러한 배포를 구현하며, 각 컴포넌트는 CPU 및 메모리 사용량에 따라 자동 스케일링된다.

실험 결과

연구 질문

• RQ1 하위 대화 전용 모델을 갖춘 모듈러 대화 시스템은 오픈 도메인 소셜봇에서 대화의 일관성 향상과 반복 방지를 얼마나 효과적으로 향상시킬 수 있는가?
• RQ2 사용자 발화를 어휘 다듬는 것은 소셜봇 상호작용에서 인식되는 참여도와 사용자 만족도를 얼마나 향상시키는가?
• RQ3 사용자 관심을 유지하기 위해 연속으로 제시할 적절한 트리비아 사실의 수는 몇 개인가?
• RQ4 뉴스나 트리비아 이후 관련 주제를 제안하는 엔티티 기반 주제 전환은 대화 품질 향상과 사용자 피로 감소에 얼마나 효과적인가?
• RQ5 대화 구조를 위한 웹 기반 저작 도구는 개발 오버헤드를 크게 줄이고 유지보수성을 향상시킬 수 있는가?

주요 결과

• 사용자 메시지의 어휘 다듬기로 평균 사용자 피드백이 3.49(버전 A)에서 3.53(버전 B)로 상승하여 인식되는 참여도 향상에 통계적으로 유의미한 영향을 미쳤다.
• 연속 트리비아 대화 수를 줄이면 사용자 평가가 향상되었으며, 1개는 3.47, 2개는 3.44, 3개는 3.42로 나타나 밀도가 높아질수록 수익 감소 효과가 나타났다.
• 엔티티 전환(뉴스나 트리비아 이후 관련 주제 제안)은 사용자 만족도를 향상시켰지만 통계적으로 유의미한 차이는 없었으며, 제안 없음 버전(3.51 대비 3.55)과 비교했을 때는 오히려 낮은 수준의 만족도를 보였다.
• 하위 대화 모델 아키텍처는 bAbI 태스크 6에서 최신 기술 수준의 모델을 초월하여 오픈 도메인 대화 관리에 효과적임을 입증했다.
• 맞춤형 웹 기반 에디터의 사용은 콘텐츠 반복 개선을 가능하게 하였으며, 대화 시스템 개발 및 배포의 복잡성을 감소시켰다.
• 대화 트리 내에서 실제 사용자 트래픽을 시각화한 결과 예상치 못한 발화 패턴과 경로 이탈 현상을 발견하여, 타겟 맞춤형 모델 보완이 가능했다.