[논문 리뷰] Enterprise to Computer: Star Trek chatbot

Grishma Jena, Mansi Vashisht외 3명|arXiv (Cornell University)|2017. 08. 02.

Topic Modeling참고 문헌 8인용 수 7

한 줄 요약

이 논문은 두 가지 별도의 시퀀스 투 시퀀스(SEQ2SEQ) 모델을 사용하여 스타트렉 스타일의 대화를 생성하는 데이터 기반 챗봇 E2Cbot을 제안한다: 하나는 스타트렉 대화에 대해, 다른 하나는 일반 대화에 대해 훈련된다. 워드 그래프와 언어 모델 필터링을 활용하여 일반 대화 입력을 스타트렉 스타일로 전환하며, 규칙 기반 기준 대비 더 높은 스타트렉 스타일 일관성(86% 인간 평가)과 더 나은 응답 일관성을 달성한다. 문법 정확도는 略로 낮지만, 성능은 뛰어나다.

ABSTRACT

Human interactions and human-computer interactions are strongly influenced by style as well as content. Adding a persona to a chatbot makes it more human-like and contributes to a better and more engaging user experience. In this work, we propose a design for a chatbot that captures the "style" of Star Trek by incorporating references from the show along with peculiar tones of the fictional characters therein. Our Enterprise to Computer bot (E2Cbot) treats Star Trek dialog style and general dialog style differently, using two recurrent neural network Encoder-Decoder models. The Star Trek dialog style uses sequence to sequence (SEQ2SEQ) models (Sutskever et al., 2014; Bahdanau et al., 2014) trained on Star Trek dialogs. The general dialog style uses Word Graph to shift the response of the SEQ2SEQ model into the Star Trek domain. We evaluate the bot both in terms of perplexity and word overlap with Star Trek vocabulary and subjectively using human evaluators.

연구 동기 및 목표

• 일반 대화에서의 일관성과 함께 스타트렉 대화의 어휘 스타일과 어조를 반영하는 챗봇을 개발하는 것.
• 커버리지와 확장성 문제로 어려움을 겪는 규칙 기반 시스템(예: Fake Spock)의 한계를 극복하는 것.
• 스타트렉과 비스타트렉 대화에 대해 별도의 모델을 훈련시어 데이터 기반의 퍼스널리티 모델링을 가능하게 하는 것.
• 문법성과 스타일 일관성을 보장하는 필터링 메커니즘을 통해 응답 품질을 향상시키는 것.
• 신경 시퀀스 모델을 사용해 일반 대화에서 허구적이고 퍼스널리티 기반 도메인으로의 스타일 전이가 가능한지 탐색하는 것.

제안 방법

• 100,990개의 스타트렉 대화 쌍과 코넬 영화 대화 코퍼스를 사용해 두 개의 독립적인 SEQ2SEQ 모델을 훈련한다.
• 워드 그래프 알고리즘을 사용해 일반 대화 출력을 도메인 전용 단어로 대체하거나 삽입함으로써 스타트렉 스타일 언어로 변환한다.
• 확장된 스타트렉 대화에 대해 훈련된 바이그램 언어 모델이 여러 워드 그래프 출력 중에서 가장 가능성 있고 문법적으로 올바른 응답을 순위 매기고 선택한다.
• 응답 필터링은 퍼플렉서티 임계값을 기반으로 한다: 응답의 퍼플렉서티가 스타트렉 대화와 현저하게 다를 경우, 표준 또는 클링곤 응답으로 대체된다.
• 모델 신뢰도를 모니터링하며, 낮은 신뢰도 출력은 '모르겠다'와 같은 일반적인 응답을 방지하기 위해 규칙 기반 후속 응답을 트리거한다.
• 특정 캐릭터를 모델링하지 않고도 톤과 어휘의 집합적 특성에 초점을 맞춰 퍼스널리티와 스타일을 유지한다.

실험 결과

연구 질문

• RQ1 데이터 기반 접근 방식이 도메인 외 입력에 대해 일관성 있고 스타일적으로 정확한 스타트렉 스타일 응답을 생성할 수 있는가?
• RQ2 이중 모델 SEQ2SEQ 시스템의 성능은 일관성과 스타일 관련성 측면에서 규칙 기반 시스템과 비교해 어떻게 되는가?
• RQ3 워드 그래프와 언어 모델 필터링을 사용해 일반 대화에서 허구적이고 퍼스널리티 기반 도메인으로의 스타일 전이를 어느 정도 달성할 수 있는가?
• RQ4 필터링 메커니즘이 문법 오류나 주제에서 벗어난 출력을 줄여 응답 품질을 향상시킬 수 있는가?
• RQ5 스타트렉과 일반 대화 모델링을 분리하면 통합 모델링보다 더 나은 성능을 낼 수 있는가?

주요 결과

• E2Cbot는 인간 평가 기준으로 스타트렉 스타일 점수 86%를 기록했으며, 규칙 기반 Fake Spock 봇(64%)를 크게 앞서는 성과를 보였다.
• 인간 평가에서 E2Cbot는 일관성(73.5% 대비 60.5%)과 전체 품질(평균 점수 84.33% 대비 74.16%) 측면에서 더 높은 성능을 보였다.
• 문법 정확도는 낮았지만(93.5% 대비 Fake Spock의 98%), E2Cbot는 더 더 문맥적으로 관련 있고 스타일 일관성이 높은 응답을 생성했다.
• E2Cbot의 응답 평균 퍼플렉서티는 스타트렉 데이터 기준 60.92였으며, 목표 스타트렉 대화 퍼플렉서티 65.69와 유사하여 언어 모델의 일치도가 높음을 시사한다.
• E2Cbot의 어휘 중 스타트렉 어휘와의 겹침 비율은 91.45%였으며, 효과적인 어휘 스타일 전이를 보여주었다.
• E2Cbot는 '레드 알림'이나 '엔게이지'와 같은 도메인 외 입력에 대해서도 관련 있고 스타트렉 테마의 응답을 성공적으로 생성하여 강력한 스타일 전이 능력을 입증했다.