[论文解读] MoodSwipe: A Soft Keyboard that Suggests Messages Based on User-Specified Emotions

Chieh-Yang Huang, Tristan Labetoulle+5 more|arXiv (Cornell University)|Jul 22, 2017

Multimedia Communication and Technology参考文献 17被引用 3

一句话总结

MoodSwipe 是一款软键盘，可根据用户指定的情绪推荐文本消息，利用真实对话数据训练情绪感知的文本建议模型。通过让用户滑动选择情绪并获得上下文合适的消息建议，它提升了消息的清晰度与舒适度——尤其在表达愤怒情绪时效果显著，同时自动收集高质量的用户报告情绪标签，用于未来模型优化。

ABSTRACT

We present MoodSwipe, a soft keyboard that suggests text messages given the user-specified emotions utilizing the real dialog data. The aim of MoodSwipe is to create a convenient user interface to enjoy the technology of emotion classification and text suggestion, and at the same time to collect labeled data automatically for developing more advanced technologies. While users select the MoodSwipe keyboard, they can type as usual but sense the emotion conveyed by their text and receive suggestions for their message as a benefit. In MoodSwipe, the detected emotions serve as the medium for suggested texts, where viewing the latter is the incentive to correcting the former. We conduct several experiments to show the superiority of the emotion classification models trained on the dialog data, and further to verify good emotion cues are important context for text suggestion.

研究动机与目标

• 为解决通过传统方法收集对话消息自报情绪标签成本高、干扰大的挑战。
• 通过在发送端实时支持情绪表达，实现情绪敏感沟通的闭环。
• 探索用户指定情绪如何提升文本建议质量，特别是在清晰度、舒适度和响应性方面。
• 开发一种可扩展的交互界面，通过与消息建议的互动自然激励用户主动标注自身情绪。
• 通过滑动和选择等隐式用户操作，收集高质量的用户报告情绪标签对话数据。

提出的方法

• MoodSwipe 键盘将标准软键盘与一个颜色条集成，颜色条可动态反映用户输入消息所检测到的情绪，使用预训练的情绪分类器实现。
• 用户可滑动颜色条以指定目标情绪（如喜悦、愤怒、悲伤），系统随即为该情绪即时推荐替代的消息表达方式。
• 系统采用基于检索的模型，从大型对话数据库中检索相关回复，利用情绪标签作为过滤条件和上下文线索，以提升建议的相关性。
• 情绪标签通过自动方式收集：选择操作会记录所选建议的情绪；未选择而仅滑动则根据最终颜色位置推断目标情绪。
• 情绪分类器基于真实对话数据训练，结合心理学框架将情绪映射为颜色（如红色代表愤怒，蓝色代表悲伤），以实现直观的用户交互。
• 通过 Amazon Mechanical Turk 进行人工作评估，从清晰度、舒适度和响应性三个维度评估建议消息，并与原始用户输入及基线模型进行对比。

实验结果

研究问题

• RQ1 用户指定的情绪是否能在实时移动键盘界面中显著提升文本建议的质量？
• RQ2 在建议消息中引入情绪上下文，是否会影响其感知清晰度、舒适度和响应性？
• RQ3 滑动和选择等隐式用户操作是否可被可靠地用于收集高质量的对话消息自报情绪标签？
• RQ4 与缺乏情绪上下文的基线检索模型相比，引入情绪信号是否能带来更优的建议结果？
• RQ5 某些情绪（如愤怒）是否比其他情绪更易于实现有效建议？原因是什么？

主要发现

• 当使用情绪上下文时，MoodSwipe 系统在建议消息舒适度方面的良好建议率（Good Suggestion Rate）达到 28.65%，而基线（无情绪上下文）为 28.38%，显示出微小但一致的改进。
• 对于与愤怒相关的信息，[+Emotion] 设置下的良好建议率达到 37.49%，显著高于平均值 28%，表明在表达愤怒情绪方面尤为有效。
• 系统通过用户交互成功收集了 1,366 条用户报告的情绪标签对话消息，证明了通过滑动和选择实现自动标注的可行性。
• 人工评估显示，在 26% 至 28% 的情况下，建议消息的排名优于原始用户输入，表明其具有实际应用价值。
• 情绪上下文的引入使所有三个评估维度（清晰度、舒适度、响应性）的平均排名均有轻微提升，证实其在消息建议中的价值。
• 结果表明，情绪感知的文本建议在情绪强烈的对话中最为有效，尤其在表达愤怒时，用户最能从替代表达方式中受益。