[论文解读] Designing dialogue systems: A mean, grumpy, sarcastic chatbot in the browser

Suzana Ilić, Reiichiro Nakano+1 more|arXiv (Cornell University)|Sep 20, 2019

Topic Modeling被引用 4

一句话总结

本文提出了一种在浏览器中部署的、基于LSTM的序列到序列对话机器人，其在经过筛选的3,000个样本数据集上进行训练，该数据集包含讽刺、幽默和脾气暴躁的对话回复。尽管训练数据量小且词汇量有限，该模型在讽刺（71.3%）、幽默（73.8%）和个性特征（73.8%）方面仍获得了较高的真人评分，表明端到端模型能够从少量高质量数据中有效学习并表达复杂的感情特征。

ABSTRACT

In this work we explore a deep learning-based dialogue system that generates sarcastic and humorous responses from a conversation design perspective. We trained a seq2seq model on a carefully curated dataset of 3000 question-answering pairs, the core of our mean, grumpy, sarcastic chatbot. We show that end-to-end systems learn patterns very quickly from small datasets and thus, are able to transfer simple linguistic structures representing abstract concepts to unseen settings. We also deploy our LSTM-based encoder-decoder model in the browser, where users can directly interact with the chatbot. Human raters evaluated linguistic quality, creativity and human-like traits, revealing the system's strengths, limitations and potential for future research.

研究动机与目标

• 通过有针对性的数据筛选，设计一个具有鲜明个性特征（具体为讽刺、幽默和暴躁）的对话系统。
• 探究端到端神经网络模型是否能够从少量高质量数据集中学习并表达复杂的感情与语言模式，而非依赖大规模、低质量的语料库。
• 通过使用TensorFlow.js在浏览器中部署，实现对话机器人与用户的实时交互式评估。
• 通过真人评估，衡量生成回复在语言质量、创造力和情感表达方面的表现。
• 探索在极少量数据和标准序列到序列架构下，生成具有情感表达力且非任务导向的对话的可行性。

提出的方法

• 构建了一个包含3,000个问答对的筛选数据集，其回复内容来自笑话、电影对白和社交媒体，涵盖幽默、讽刺和情绪化表达。
• 采用基于LSTM的编码器-解码器架构，并使用贪婪解码策略，逐个标记生成响应。
• 使用词级别输入和GloVe词嵌入，并尝试了注意力机制，但未观察到显著的定性改进。
• 使用TensorFlow.js将训练好的模型部署在浏览器中，以支持实时、交互式的用户互动与评估。
• 在演示中应用温度采样，引入可控的随机性，以探索生成响应的多样性。
• 通过真人评分者，使用1–10分制在多个维度上评估模型输出：连贯性、恰当性、创造力、词汇多样性、讽刺、幽默、个性、情感表达和上下文感知能力。

实验结果

研究问题

• RQ1 一个仅包含3,000个对话对的、精心筛选的小型数据集，是否能有效训练序列到序列模型，以生成讽刺和幽默的回复？
• RQ2 端到端神经网络模型在缺乏大规模、嘈杂数据集的情况下，能在多大程度上学习并表达复杂的感情特征（如讽刺和个性）？
• RQ3 真人评分者如何评价个性驱动型对话机器人生成回复的语言质量、创造力和情感表达力？
• RQ4 架构选择（如注意力机制和嵌入策略）对小样本设置下情感表达生成质量有何影响？
• RQ5 浏览器端部署是否能够通过多样化用户实现可扩展的、交互式的个性丰富对话系统的评估？

主要发现

• 该对话机器人在个性（73.8%）和幽默（73.8%）方面获得了最高平均真人评分，表明其具有较强的感知表达力和用户参与度。
• 讽刺评分达到71.3%，表明尽管训练数据有限，该模型仍能生成符合语境、具有反讽意味的回应。
• 创造力平均得分为68.8%，表明即使词汇量较小（约1,400个词元），模型仍能生成新颖且出人意料的回应。
• 词汇多样性得分相对较低，仅为56.3%，表明由于模型记忆化和贪婪解码策略，存在重复性表达问题，尽管连贯性较高。
• 51.4%的回复被评为“匹配”（准确且相关），24.8%为“模糊”，23.8%为“无意义”，凸显了响应一致性方面的挑战。
• 情感感知得分最低，仅为54.4%，表明尽管讽刺和幽默表达良好，但当前设置在表达更广泛的情感细微差别方面仍存在困难。