[논문 리뷰] Alquist: The Alexa Prize Socialbot

Jan Pichl, Petr Marek외 4명|arXiv (Cornell University)|2018. 04. 18.

Topic Modeling참고 문헌 24인용 수 15

한 줄 요약

Alquist는 Alexa Prize 경쟁을 위한 하이브리드 오픈도메인 대화 시스템으로, 규칙 기반의 구조화된 주제 대화와 신경망 기반의 엔드 투 엔드 응답 생성을 융합하여 유저가 몰입하고 오랜 시간 대화를 이어가는 대화를 유지한다. 주제별 사실 기반의 대화를 통해 일반적인 채팅 및 QA 모듈보다 평균 평점(최대 3.97)과 대화 지속 시간에서 뛰어난 성능을 보이며, 더 높은 사용자 참여도를 달성한다.

ABSTRACT

This paper describes a new open domain dialogue system Alquist developed as part of the Alexa Prize competition for the Amazon Echo line of products. The Alquist dialogue system is designed to conduct a coherent and engaging conversation on popular topics. We are presenting a hybrid system combining several machine learning and rule based approaches. We discuss and describe the Alquist pipeline, data acquisition, and processing, dialogue manager, NLG, knowledge aggregation and hierarchy of sub-dialogs. We present some of the experimental results.

연구 동기 및 목표

• 최신 뉴스, 스포츠, 엔터테인먼트 등의 주제에서 장시간 지속되며 논리적이고 유저를 몰입시키는 오픈도메인 대화를 유지할 수 있는 대화형 에이전트를 설계한다.
• 순수 규칙 기반 시스템의 유연성과 확장성 부족, 엔드 투 엔드 신경망 모델의 데이터 부족 및 사실 일관성 문제를 해결한다.
• 구조화된 사실 기반 콘텐츠와 주제 전환을 대화에 통합함으로써 사용자 참여도를 향상시키고 조기 대화 종료를 줄인다.
• 사용자 평점과 대화 지속 시간을 주요 평가 지표로 삼아 시스템을 평가함으로써 Alexa Prize 경쟁 목표와 일치시킨다.
• 규칙 기반 주제 대화와 신경망 기반 응답 생성을 융합한 하이브리드 시스템이 실제 사용자 상호작용에서 순수 생성형 또는 규칙 기반 접근 방식보다 뛰어난 성능을 보임을 입증한다.

제안 방법

• 시스템은 상위 수준의 대화 매니저가 사용자를 영화, 스포츠, 뉴스 등 주제별로 구분된 규칙 기반 하위 대화로 라우팅하는 계층적 대화 아키텍처를 사용한다.
• 각 하위 대화는 예/아니요 응답 처리, 엔티티 인식, '반복'과 같은 간단한 명령어 처리를 위한 재사용 가능한 기본 대화 블록으로 구성된다.
• 의도 및 엔티티 검출은 TF-IDF, 워드 임베딩(GloVe), 로지스틱 회귀, 높은 정확도를 확보하기 위한 다중 채널 CNN 기반 신경망을 복수의 방법으로 수행한다.
• 신경망 의도 분류기는 300D GloVe 임베딩을 사용하며, 메시지에 대해 필터 크기 1–5, 포커스에 대해 1–3인 컨볼루션 레이어, 맥스 풀링, 드롭아웃 및 소프트맥스 출력을 갖는 밀집 레이어를 포함한다.
• 응답 생성은 구조화된 대화에서의 규칙 기반 응답과 오픈-ended 또는 이탈형 대화 전환에 대한 엔드 투 엔드 시퀀스-투-시퀀스 모델을 조합한다.
• 각 주제별 훈련 데이터는 사용자 상호작용을 통해 수집되며, 이를 통해 신경망 기반 대화 매니저를 미세조정함으로써 주제 간 부분적인 전이 능력을 확보한다.

실험 결과

연구 질문

• RQ1 규칙 기반 접근과 신경망 기반 접근을 융합한 하이브리드 시스템이 오픈도메인 소셜봇의 참여도와 논리성 향상에 어떻게 기여하는가?
• RQ2 사실 기반 콘텐츠로 풍부하게 구성된 구조화된 주제 대화는 사용자 평점과 대화 지속 시간에 어떤 영향을 미치는가?
• RQ3 워드 임베딩, 로지스틱 회귀, 신경망 등 다양한 의도 및 엔티티 검출 방법 간 정확도와 확장성은 어떻게 비교되는가?
• RQ4 주제별 데이터로 훈련된 신경망 기반 대화 매니저가 다른 도메인 간에 어느 정도 전이 가능할 수 있는가?
• RQ5 닫힌형 응답 모듈(예: 채팅, QA)은 왜 구조화된 주제 대화보다 짧은 대화를 유도하는가?

주요 결과

• 다중 채널 CNN를 사용하고 GloVe 임베딩 및 이전 의도에 대한 어텐션을 적용한 신경망 의도 분류기가 가장 높은 정확도(92.7%)를 기록했다.
• 구조화된 주제 대화는 일반 모듈보다 사용자 만족도에서 뛰어났으며, '흥미로운 사실' 모듈이 평균 평점 최고(3.972)를 기록했고, '뉴스' 모듈은 평균 지속 시간이 가장 길었음(102초).
• '농담'과 '게임' 대화 모듈은 높은 참여도(평점 3.931 및 3.828)와 중간 수준의 지속 시간(50초 및 93초)을 기록하여 효과적인 오락 가치를 입증했다.
• 닫힌형 응답 모듈인 '반복'과 '추천'은 낮은 평점(2.429 및 3.575)과 짧은 지속 시간을 보이며, 단일 응답 후 사용자 이탈이 빈번함을 시사했다.
• '도움'과 '중지' 모듈은 낮은 평점(3.509 및 3.682)을 기록하여 사용자들이 이들의 기능에 덜 몰입하는 것으로 나타났으며, 이는 범위가 제한적이고 콘텐츠가 부족하기 때문일 것이다.
• 하이브리드 아키텍처는 각 주제별 효과적인 데이터 수집을 가능하게 하였고, 주제 간 부분적인 전이가 가능한 점진적 훈련을 가능케 하였다.