[논문 리뷰] Audrey: A Personalized Open-Domain Conversational Bot

Chung Hoon Hong, Yuan Liang외 11명|arXiv (Cornell University)|2020. 11. 11.

Advanced Text Analysis Techniques참고 문헌 17인용 수 6

한 줄 요약

Audrey는 정보적, 개인적, 관계적 차원에서 사용자와 상호작용할 수 있도록 설계된 개인화된 오픈도메인 챗봇으로, Alexa Prize Grand Challenge 3를 위해 개발되었다. 지식 기반 및 신경망 기반 응답 생성기의 하이브리드 아키텍처를 활용하여 감정 인식, 성격 이해, 적응형 대화 정책을 통합함으로써, 준결선에서 평균 점수 3.25점(5점 만점)을 기록하며 맥락 인식과 관심 기반 대화를 통해 일관성과 사용자 참여도를 향상시켰다.

ABSTRACT

Conversational Intelligence requires that a person engage on informational, personal and relational levels. Advances in Natural Language Understanding have helped recent chatbots succeed at dialog on the informational level. However, current techniques still lag for conversing with humans on a personal level and fully relating to them. The University of Michigan's submission to the Alexa Prize Grand Challenge 3, Audrey, is an open-domain conversational chat-bot that aims to engage customers on these levels through interest driven conversations guided by customers' personalities and emotions. Audrey is built from socially-aware models such as Emotion Detection and a Personal Understanding Module to grasp a deeper understanding of users' interests and desires. Our architecture interacts with customers using a hybrid approach balanced between knowledge-driven response generators and context-driven neural response generators to cater to all three levels of conversations. During the semi-finals period, we achieved an average cumulative rating of 3.25 on a 1-5 Likert scale.

연구 동기 및 목표

• 정보적, 개인적, 관계적 차원에서 자연스럽고 매력적이며 개인화된 상호작용을 지속할 수 있는 대화형 에이전트 개발.
• 기존 오픈도메인 챗봇이 개인화 및 장기적 일관성에서 어려움을 겪는 문제 해결.
• 규칙 기반 및 신경망 기반 응답 생성 간 균형을 맞춘 하이브리드 아키텍처 설계로 대화 품질과 적응성 향상.
• 모듈식 NLP 컴포넌트와 동적 대화 정책을 통해 사용자 관심사, 정서, 대화 흐름에 실시간으로 적응할 수 있도록 설계.
• 응답 생성 전략 및 대화 관리가 사용자 만족도와 대화 지속 시간에 미치는 영향 평가.

제안 방법

• Amazon Conversational Bot Toolkit (CoBot) 기반의 모듈식이고 확장 가능한 아키텍처를 구축하여 NLU, 대화 관리, 응답 생성 각각을 독립적인 Docker 모듈로 운영.
• 사용자 관심사와 선호도를 추론하기 위해 감정 분류, 정서 분석 및 성격 이해 모듈(PUM)을 포함한 사회적 인식 모델 통합.
• 템플릿 기반 및 신경망 기반(GPT-2 등) 응답 생성을 조합한 하이브리드 응답 생성기 도입. 맥락 및 일관성 요구에 따라 동적 전환 기능 구현.
• 강화 학습 기반 대화 정책 관리자 도입으로 주제 선택 및 대화 주제 간 전환에 대한 적응성 향상.
• 트렌딩 뉴스 통합 및 맥락 길이의 영향 평가를 위해 A/B 테스트 적용.
• 실시간 고가용성 배포를 위해 AWS Lambda를 활용해 Alexa Skills Kit(ASK)와 서버리스 통합.

실험 결과

연구 질문

• RQ1 챗봇은 다양한 오픈도메인 주제에서 일관성 있고 매력적이며 개인화된 대화를 어떻게 유지할 수 있는가?
• RQ2 규칙 기반과 신경망 기반 응답 생성을 조합할 경우 사용자 만족도와 대화 품질에 어떤 영향을 미치는가?
• RQ3 신경망 기반 응답 생성기의 입력으로 주제에 맞는 맥락을 사용할지 고정 크기의 맥락을 사용할지에 따라 응답의 일관성과 사용자 평가에 어떤 영향을 미치는가?
• RQ4 주제 전환 전략(예: 트렌딩 뉴스 또는 후속 질문 템플릿 사용)이 대화 지속 시간과 사용자 피드백에 어느 정도의 영향을 미치는가?
• RQ5 성격 인식 기반 대화 시스템은 오픈도메인 대화에서 장기적 참여도와 자연스러움을 향상시킬 수 있는가?

주요 결과

• 하이브리드 응답 생성기는 템플릿 기반과 신경망 기반 생성의 장점을 균형 있게 조합함으로써 대화의 일관성을 크게 향상시켰다.
• 신경망 기반 응답 생성기(NRG)에 고정 크기의 맥락 대신 주제에 맞는 맥락만을 사용할 경우 평균 피드백 점수가 3.308로 상승하였으며, 고정 크기 맥락 사용 시 3.196에 비해 더 높은 응답 품질을 보였다.
• 트렌딩 뉴스 생성기(TNCG)를 통합할 경우 평균 대화 지속 시간이 224.14초로 증가하였으며, 후속 질문 생성기 사용 시 151.00초 대비 길어졌지만, 점수 향상에는 유의미한 영향을 주지 못했다.
• 실험 결과, 대화 지속 시간과 사용자 피드백 점수 사이에 약한 상관관계가 확인되어, 더 긴 대화가 항상 더 높은 만족도를 의미하지는 않는다는 점을 시사했다.
• 개인성 이해 모듈(PUM)과 강화 학습 기반 주제 선택 전략은 잠재력을 보였지만, 후기 배포로 인해 추가 실험적 검증이 필요했다.
• Audrey는 준결선에서 누적 평균 점수 3.25점(5점 만점)을 기록하며, 다층적 참여 전략의 효과성을 입증했다.