[논문 리뷰] Slugbot: An Application of a Novel and Scalable Open Domain Socialbot Framework

Kevin K. Bowden, Jiaqi Wu외 3명|arXiv (Cornell University)|2018. 01. 04.

Spam and Phishing Detection참고 문헌 7인용 수 8

한 줄 요약

이 논문은 인간의 사고 방식을 모방한 기억 아키텍처와 모듈형 대화 관리 기법을 사용하여 다양한 주제에서 자연스럽고 지속 가능한 대화를 가능하게 하는 확장 가능한 오픈 도메인 소셜봇인 Slugbot을 제시한다. 31개 주제에 걸쳐 다양한 NLU 도구, 검색 시스템, 동적 대화 흐름을 통합함으로써 사용자 참여도를 높이고, 사용자 만족도와 대화 길이 측면에서 뛰어난 성능을 달성한다.

ABSTRACT

In this paper we introduce a novel, open domain socialbot for the Amazon Alexa Prize competition, aimed at carrying on friendly conversations with users on a variety of topics. We present our modular system, highlighting our different data sources and how we use the human mind as a model for data management. Additionally we build and employ natural language understanding and information retrieval tools and APIs to expand our knowledge bases. We describe our semistructured, scalable framework for crafting topic-specific dialogue flows, and give details on our dialogue management schemes and scoring mechanisms. Finally we briefly evaluate the performance of our system and observe the challenges that an open domain socialbot faces.

연구 동기 및 목표

• 다양한 주제에서 자연스럽고 다단계 대화를 지속할 수 있는 확장 가능한 오픈 도메인 소셜봇을 개발하는 것.
• 작업에 특화된 제약 없이도 지속적인 참여도와 일관성을 유지하는 데 도전하는 것.
• 시스템 기억을 인간의 뇌 구조에 따라 장기기억(LTM)과 단기기억(STM)으로 나누어 효율적인 데이터 관리를 위한 설계를 하는 것.
• 게임, 설문조사 등 상호작용 기능과 의견 생성, 스토리텔링을 통해 사용자 경험을 향상시키는 것.
• 다중 가설 처리 및 의도 처리 기법을 통해 음성 인식 오류 및 사용자 입력 노이즈에 대한 내성적 저항력을 향상시키는 것.

제안 방법

• 기본 응답, 의견, 질의응답, 검색, 도메인 외 처리, 스토리텔링, 게임, 설문조사, 상호작용 시퀀스, 재귀적 사실 검색, 흐름 관리 등 다양한 대화 관리 모듈을 포함한 모듈형 아키텍처를 사용하였다.
• 의존성 구문 분석, 품사 태깅, 감성 분석, 공호성 해결 등의 핵심 NLU 작업을 위해 Stanford CoreNLP를 사용하였다.
• 하이브리드 기억 시스템을 구현하여 STM은 대화 현지 상태를, LTM은 지속적 데이터를 관리하였으며, 실시간 쿼리 지원을 위해 DynamoDB 대신 RDS를 사용하였다.
• API(위키백과, DuckDuckGo, Evi)와 Elasticsearch를 통한 통합을 통해 다양한 지식 소스를 활용하였다.
• 31개 주제에 걸쳐 주제별 대화 흐름을 동적으로 관리할 수 있는 흐름 관리기능을 설계하여 주제 커버리지의 확장성을 확보하였다.
• 응답 순위를 매기는 점수 기반 메커니즘을 적용하고, LTM에서 강화 학습을 활용하여 장기 정책 학습을 향상시켰다.

실험 결과

연구 질문

• RQ1 소셜봇은 다양한 주제에서 효과적인 시스템 기억 관리를 통해 어떻게 지속 가능한 오픈 도메인 대화를 유지할 수 있는가?
• RQ2 시스템 기억을 인간의 뇌에 기반하여 모델링할 경우 대화의 일관성과 확장성은 얼마나 향상되는가?
• RQ3 게임, 설문조사, 스토리텔링과 같은 상호작용 모듈은 사용자 참여도와 대화 길이에 어떤 영향을 미치는가?
• RQ4 ASR 오류와 노이즈가 많은 입력은 사용자 경험에 어떤 영향을 미치며, 소셜봇 환경에서 이를 어떻게 완화할 수 있는가?
• RQ5 동적 흐름 생성을 지원하는 모듈형이고 확장 가능한 대화 프레임워크는 오픈 도메인 환경에서 높은 사용자 만족도를 달성할 수 있는가?

주요 결과

• 사용자들은 잘못된 답변이나 저품질 답변보다 정확하고 솔직한 응답을 선호했으며, 추측보다 '모르겠다'는 답변을 선호함을 보였다.
• 사용자가 언급한 실체를 명시적으로 재확인하고 평가적 의견을 제시할 경우 사용자 참여도와 개인화된 경험 인식이 크게 향상되었다.
• 게임, 설문조사, 스토리텔링과 같은 상호작용 모듈은 장기적인 다단계 상호작용을 유지하며 사용자에게 매우 높은 평가를 받았다.
• 사용자 만족도와 대화 길이 측면에서 뛰어난 성능을 달성했으며, 제퍼니 등과 같은 활동에서 높은 참여도가 관찰되었다.
• ASR 오인은 여전히 주요 과제였으며, 특히 노이즈가 많은 환경에서 발생했고, 짧은 입력이 '정지' 명령어로 잘못 해석될 경우 조기 종료가 발생했다.
• 사용자들은 부정적 뉴스 콘텐츠에 관심을 보이지 않았으며, 지식 소스에서 감성 필터링이 필요함을 시사했다.