[논문 리뷰] Sounding Board: A User-Centric and Content-Driven Social Chatbot

Hao Fang, Hao Cheng외 6명|arXiv (Cornell University)|2018. 04. 26.

AI in Service Interactions참고 문헌 8인용 수 6

한 줄 요약

Sounding Board는 실시간 사용자 성격 프로파일링과 동적으로 업데이트되는 지식 그래프를 활용하여 장기적이고 일관되며 흥미진(triggering) 대화를 유지할 수 있는 사용자 중심, 콘텐츠 중심의 소셜 챗봇이다. 이는 평균 사용자 평점 5점 중 3.17점과 평균 대화 길이 10:22분을 기록하며, 콘텐츠 기반의 적응형 상호작용을 통해 스케일링 가능한 고품질의 오픈도메인 대화의 실현 가능성을 입증했다.

ABSTRACT

We present Sounding Board, a social chatbot that won the 2017 Amazon Alexa Prize. The system architecture consists of several components including spoken language processing, dialogue management, language generation, and content management, with emphasis on user-centric and content-driven design. We also share insights gained from large-scale online logs based on 160,000 conversations with real-world users.

연구 동기 및 목표

• 정치, 엔터테인먼트, 기술과 같은 오픈도메인 주제에서 장기적이고 일관되며 흥미진(triggering) 대화를 유지할 수 있는 소셜 챗봇을 개발하는 것.
• 사용자 관심사와 성격에 맞게 적응하는 사용자 중심의 시스템을 설계하면서도, 현재 사건과 관련 정보를 지속적으로 통합함으로써 콘텐츠 중심의 접근을 유지하는 것.
• 실제 사용자 상호작용과 평가자의 평가를 기반으로 대화 품질, 길이, 사용자 참여도를 중심으로 시스템 성능을 대규모로 평가하는 것.
• 사용자 성격 특성과 콘텐츠 다양성이 대화 역학과 사용자 만족도에 미치는 영향을 이해하는 것.

제안 방법

• 계층적 상태 기반 대화 모델을 통해 조율되는 모듈러 아키텍처를 채택하며, 자연어 이해(NLU), 대화 관리(DM), 자연어 생성(NLG)의 세 핵심 구성 요소로 구성된다.
• NLU는 음성 입력에서 ASR 추측값과 대화 상태를 기반으로 사용자 의도, 주제, 감성, 성격 신호를 추출하여 후속 처리를 위한 다차원 프레임으로 매핑한다.
• DM는 마스터-미니스킬 계층을 사용하여 대화 흐름을 관리하며, 특정 대화 세그먼트를 처리하기 위해 전용 미니스킬(예: 생각, 사실, 영화)을 선택함으로써 일관성과 사용자 참여도를 유지한다.
• 콘텐츠는 AWS DynamoDB에 저장된 매일 업데이트되는 지식 그래프에서 공급되며, 주제의 연속성과 깊이를 유지하기 위해 관련성 있고 최신 정보를 제공한다.
• 성격은 오십원형 모델(Five Factor Model) 기반의 미니-IPIP 기반 프로빙 시스템을 통해 평가되며, 이는 대화 전략의 개인화된 적응을 가능하게 한다.
• 사용자 참여도는 시스템이 식별한 주제 세그먼트를 기반으로 추적되며, 턴 단위 상호작용 패tern을 바탕으로 하위 대화에 참여도를 주석 처리한다.

실험 결과

연구 질문

• RQ1 사용자 중심의 작업 지향 목표에 의존하지 않고도 오픈도메인 대화에서 장기적 일관성과 참여도를 유지할 수 있는 방법은 무엇인가?
• RQ2 특히 개방성, 외향성, 친화성, 성실성, 신경질성 등의 성격 특성이 대화 길이와 사용자 만족도에 어느 정도 영향을 미치는가?
• RQ3 콘텐츠의 풍부성과 주제 다양성이 고품질의 장기 대화를 유지하는 데 어떤 역할을 하는가?
• RQ4 대화의 깊이와 하위 대화의 광범위성은 총 길이와는 무관하게 사용자 평가된 품질과 어떻게 관련이 있는가?

주요 결과

• Sounding Board는 평균 사용자 평점 5점 중 3.17점과 평균 대화 길이 10:22분을 기록하며, 지속적이고 고품질의 오픈도메인 대화의 실현 가능성을 입증했다.
• 개방성, 외향성, 친화성 수준이 높은 사용자는 대화 길이를 고려하더라도 유의미하게 높은 대화 평점을 받았다.
• 긴 대화는 높은 평점과 관련이 있었지만, 길이와 평점 간 상관관계는 약한 편(r = 0.14)이었으며, 이는 길이 자체가 품질을 보장하지는 않음을 시사한다.
• 높은 평점(5점)을 받은 대화는 낮은 평점 대화(28.6%)보다 훨씬 높은 주제 참여도(62.5%)를 보였으며, 평균 하위 대화 깊이도 더 깊었다(4.0 대비 3.8턴).
• 높은 평점과 낮은 평점에서의 참여된 하위 대화 수는 유사했음(4.2 대비 4.1), 이는 품질에 있어 깊이의 참여도가 넓이보다 더 중요하다는 것을 시사한다.
• 성격 특성은 대화 길이와는 약한 상관관계를 보였지만, 길이를 보정한 상태에서 사용자 평점과 중간에서 강한 상관관계를 보였으며, 이는 성격 인식 기반 적응이 인식된 품질을 향상시킨다는 것을 의미한다.