[论文解读] Enterprise to Computer: Star Trek chatbot

Grishma Jena, Mansi Vashisht+3 more|arXiv (Cornell University)|Aug 2, 2017

Topic Modeling参考文献 8被引用 7

一句话总结

本文提出 E2Cbot，一种数据驱动的聊天机器人，通过使用两个独立的序列到序列（SEQ2SEQ）模型——一个用于星际迷航对话，另一个用于一般对话——生成类似《星际迷航》风格的回复。它采用词图（Word Graph）和语言模型过滤机制，将非《星际迷航》的输入转换为《星际迷航》风格，实现了更高的《星际迷航》风格一致性（人类评分达86%），且在回复连贯性方面优于基于规则的基线模型，尽管语法准确性略低。

ABSTRACT

Human interactions and human-computer interactions are strongly influenced by style as well as content. Adding a persona to a chatbot makes it more human-like and contributes to a better and more engaging user experience. In this work, we propose a design for a chatbot that captures the "style" of Star Trek by incorporating references from the show along with peculiar tones of the fictional characters therein. Our Enterprise to Computer bot (E2Cbot) treats Star Trek dialog style and general dialog style differently, using two recurrent neural network Encoder-Decoder models. The Star Trek dialog style uses sequence to sequence (SEQ2SEQ) models (Sutskever et al., 2014; Bahdanau et al., 2014) trained on Star Trek dialogs. The general dialog style uses Word Graph to shift the response of the SEQ2SEQ model into the Star Trek domain. We evaluate the bot both in terms of perplexity and word overlap with Star Trek vocabulary and subjectively using human evaluators.

研究动机与目标

• 开发一款能够捕捉《星际迷航》对话语言风格与语调，同时在一般对话中保持连贯性的聊天机器人。
• 克服基于规则的系统（如 Fake Spock）在覆盖范围和可扩展性方面的局限性。
• 通过为《星际迷航》和非《星际迷航》对话分别训练模型，实现数据驱动的角色建模。
• 通过过滤机制提升回复质量，确保语法正确性和风格一致性。
• 探索使用神经序列模型，从一般对话到虚构的、以角色为中心的领域实现风格迁移的可行性。

提出的方法

• 训练两个独立的 SEQ2SEQ 模型：一个在 100,990 对《星际迷航》对话数据上进行训练，另一个在科罗拉多大学电影对话语料库（Cornell Movie-Dialog Corpus）上进行一般对话训练。
• 使用词图（Word Graph）算法，通过替换或插入领域特定词汇，将一般对话的输出转换为《星际迷航》风格的语言。
• 使用在增强版《星际迷航》对话上训练的二元语言模型，对多个词图输出进行排序和选择，以获得最可能且语法正确的回复。
• 通过困惑度阈值进行回复过滤：若某条回复的困惑度与《星际迷航》对话显著偏离，则替换为标准回复或克林贡语回复。
• 监控模型置信度；低置信度输出将触发基于规则的回退机制，以避免产生如“我不知道”等通用回复。
• 通过聚焦《星际迷航》整体语调和词汇，而非建模特定角色，来保持人格与风格的一致性。

实验结果

研究问题

• RQ1 数据驱动方法能否为域外输入生成连贯且风格准确的《星际迷航》风格回复？
• RQ2 与基于规则的系统相比，双模型 SEQ2SEQ 系统在连贯性和风格相关性方面的表现如何？
• RQ3 通过词图与语言模型过滤，能在多大程度上实现从一般对话到虚构、以角色为中心领域的风格迁移？
• RQ4 过滤机制是否能通过减少语法错误或偏离主题的输出来提升回复质量？
• RQ5 将《星际迷航》与一般对话建模分离，是否比统一建模带来更好的性能？

主要发现

• E2Cbot 获得了人类评分的 86%《星际迷航》风格得分，显著优于基于规则的 Fake Spock 机器人（64%）。
• 在人类评估中，E2Cbot 展现出更高的连贯性（73.5% vs. 60.5%）和整体质量（平均得分 84.33% vs. 74.16%）。
• 尽管语法准确性较低（93.5% vs. 98% 的 Fake Spock），E2Cbot 仍生成了更具上下文相关性和风格一致性的回复。
• E2Cbot 在《星际迷航》数据上的平均困惑度为 60.92，接近目标《星际迷航》对话的困惑度 65.69，表明语言模型对齐良好。
• E2Cbot 的词汇与《星际迷航》术语的重叠度达 91.45%，表明其具备有效的词汇风格迁移能力。
• 该系统成功为域外输入（如“红警”和“启动”）生成了相关且具有《星际迷航》主题的回复，证明了其强大的风格迁移能力。