[논문 리뷰] SlugBot: Developing a Computational Model and Framework of a Novel Dialogue Genre

Kevin K. Bowden, Jiaqi Wu외 6명|arXiv (Cornell University)|2018. 01. 01.

Topic Modeling참고 문헌 36인용 수 11

한 줄 요약

이 논문은 소셜봇인 슬러그봇(SlugBot)을 위한 개방형 다중 전환 대화를 위한 새로운 계산 프레임워크인 논의 관계 대화 모델(DRDM)을 소개한다. 이 모델은 펜 논의 트리뱅크 관계(예: 확장(EXPANSION), 조건적(CONTINGENCY))를 사용하여 일관되고 시스템 주도의 대화를 체계화한다. 모델은 도메인 특화 지식 그래프인 유니슬러그(UniSlug)를 통해 모듈러 아키텍처로 구현되어 평균 8회 이상의 전환 동안 사용자 참여를 유지하는 고품질의 주제 중심 상호작용을 가능하게 한다.

ABSTRACT

One of the most interesting aspects of the Amazon Alexa Prize competition is that the framing of the competition requires the development of new computational models of dialogue and its structure. Traditional computational models of dialogue are of two types: (1) task-oriented dialogue, supported by AI planning models,or simplified planning models consisting of frames with slots to be filled; or (2)search-oriented dialogue where every user turn is treated as a search query that may elaborate and extend current search results. Alexa Prize dialogue systems such as SlugBot must support conversational capabilities that go beyond what these traditional models can do. Moreover, while traditional dialogue systems rely on theoretical computational models, there are no existing computational theories that circumscribe the expected system and user behaviors in the intended conversational genre of the Alexa Prize Bots. This paper describes how UCSC's SlugBot team has combined the development of a novel computational theoretical model, Discourse Relation Dialogue Model, with its implementation in a modular system in order to test and refine it. We highlight how our novel dialogue model has led us to create a novel ontological resource, UniSlug, and how the structure of UniSlug determine show we curate and structure content so that our dialogue manager implements and tests our novel computational dialogue model.

연구 동기 및 목표

• 기존의 작업 중심 또는 검색 중심 프레임워크를 초월해 개방형 다중 전환 대화를 지원하는 새로운 대화 계산 모델을 개발하는 것.
• 지속적이고 흥미진진하며 일관된 개방형 상호작용을 요구하는 애슬라 프라이즈 대화 장르에 대한 이론적 및 계산 모델의 부족을 보완하는 것.
• 공식적인 논의 관계에 기반한 논의 일관성을 바탕으로 시스템 주도 대화를 지원하는 확장 가능한 대화 시스템 아키텍처를 설계하는 것.
• 다양한 주제를 위한 대화 전략 선택 및 콘텐츠 체계화를 지원하기 위해 도메인 특화 지식 기반인 유니슬러그(UniSlug)를 구축하는 것.
• 실세계 대화 환경에서 사용자 참여와 논의 일관성을 유지하는 데 있어 시스템 주도 대화 전략의 효과성을 평가하는 것.

제안 방법

• 펜 논의 트리뱅크에서 유래한 네 가지 고수준의 논의 관계(EXPANSION, COMPARISON, CONTINGENCY, TEMPORAL)를 사용하여 대화 일관성을 모델링하는 논의 관계 대화 모델(DRDM)을 제안한다.
• 대화 관리가 논의 관계에 의해 이끌리는 모듈러 대화 시스템 아키텍처를 구축하여 의미적 및 관계 기반 콘텐츠에 기반한 시스템 주도 전환을 가능하게 한다.
• 세계 지식을 표현하고 논의 인식 대화 전략을 지원하기 위해 다수의 스키마 소스를 통합한 대규모 통합 온톨로지인 유니슬러그(UniSlug)를 개발한다.
• 콘텐츠를 주제별로 분류하고 재사용 가능한 대화 플로우로 구성하는 플로우 기반 대화 관리 시스템을 도입하여 지속적이고 흥미진진한 상호작용을 지원한다.
• 사용자 피드백을 기반으로 강화 학습된 재순서기(re-ranker)를 활용하여 응답 선택을 최적화하고 실시간으로 대화 품질을 향상시킨다.
• 고제어성과 개인화를 위해 템플릿 기반 생성 시스템을 구현하였으며, 시퀀스 투 시퀀스 모델(예: Transformer 기반의 Slug2Slug)을 활용한 생성 응답도 탐색했지만, 데이터 부족 및 견고성 문제로 최종적으로는 템플릿 기반 생성을 선택했다.

실험 결과

연구 질문

• RQ1 어떻게 기존의 작업 중심 또는 검색 중심 프레임워크를 초월해 개방형 다중 전환 대화를 지원하는 계산 대화 모델을 설계할 수 있는가?
• RQ2 시스템 주도 대화에서 일관성과 참여도를 유지하는 데 가장 효과적인 논의 관계는 무엇인가?
• RQ3 대규모 도메인 특화 지식 그래프를 어떻게 구축하고 활용하여 동적이고 일관된 대화 전략을 지원할 수 있는가?
• RQ4 사용자 주도 또는 검색 기반 접근 방식에 비해 시스템 주도 대화 전략이 사용자 참여를 얼마나 오랫동안 유지하고 대화 길이를 얼마나 향상시킬 수 있는가?
• RQ5 감정 상태와 사용자 복지를 어떻게 모델링하고 반응하여 대화의 유대감과 만족도를 향상시킬 수 있는가?

주요 결과

• 슬러그봇의 시스템 주도 모듈은 평균 8회 이상의 사용자 전환 동안 대화를 유지하는 데 성공하여 사용자 주도 또는 검색 기반 전략보다 뚜렷하게 뛰어난 성능을 보였다.
• 42개 주제에 걸쳐 일반적인 경청 대화를 담당하는 플로우 매니저는 평균 8.1회의 사용자 참여를 기록했으며, 평균 점수 3.35를 기록하여 개방형 대화 유지 능력이 뛰어나다는 것을 입증했다.
• 검색 기반 및 사용자 주도 전략은 한 번의 고유한 대화당 평균 1.4회 미만의 사용자 전환에 그쳐 장기간의 대화 유지에 한계가 있음을 시사했다.
• 유니슬러그(UniSlug)라는 정제된 통합 온톨로지의 사용은 뉴스, 영화, 기술 등 다양한 주제에서 논의 관계를 중심으로 콘텐츠를 체계화함으로써 일관되고 일관된 대화를 가능하게 했다.
• Transformer 기반의 시퀀스 투 시퀀스 모델(Slug2Slug)을 훈련했음에도 불구하고, 데이터 부족 및 견고성 문제로 인해 최종적으로는 템플릿 기반 생성을 유지했다. 이는 현재 개방형 대화에서 엔드 투 엔드 생성 모델의 한계를 보여준다.
• 사용자 피드백과 강화 학습을 통합한 재순서기의 적용은 응답 순서 정렬을 향상시켰으며, 이는 적응형 피드백 기반 대화 정책이 실세계 환경에서 시스템 성능을 향상시킬 수 있음을 시사한다.