[论文解读] Sketchforme: Composing Sketched Scenes from Text Descriptions for Interactive Applications

Forrest Huang, John Canny|arXiv (Cornell University)|Apr 8, 2019

Multimodal Machine Learning Applications参考文献 21被引用 8

一句话总结

Sketchforme 是一种基于神经网络的系统，通过两阶段流程从文本描述生成多对象手绘场景：首先，Scene Composer 从带有字幕和边界框的自然图像数据集中生成布局构图；其次，Object Sketcher 生成符合对象长宽比的逼真、富有表现力的手绘图。该系统生成的手绘图有 36.5% 的用户认为是人类绘制的，显著提升了基于手绘的語言學習和智能手繪助手的性能。

ABSTRACT

Sketching and natural languages are effective communication media for interactive applications. We introduce Sketchforme, the first neural-network-based system that can generate sketches based on text descriptions specified by users. Sketchforme is capable of gaining high-level and low-level understanding of multi-object sketched scenes without being trained on sketched scene datasets annotated with text descriptions. The sketches composed by Sketchforme are expressive and realistic: we show in our user study that these sketches convey descriptions better than human-generated sketches in multiple cases, and 36.5% of those sketches are considered to be human-generated. We develop multiple interactive applications using these generated sketches, and show that Sketchforme can significantly improve language learning applications and support intelligent language-based sketching assistants.

研究动机与目标

• 开发一种无需依赖文本标注手绘数据集即可从自然语言描述生成手绘场景的系统。
• 支持结合手绘与自然语言的交互式应用，以提升用户表达力与学习效果。
• 弥合场景构图的高层语义理解与底层手绘机制之间的差距，实现逼真输出。
• 通过用户研究评估生成手绘图在真实感与表现力方面与人类创作手绘图的对比。
• 在语言学习与智能手绘助手等实际应用中展示系统效能。

提出的方法

• Scene Composer 使用在带有文本字幕、边界框和类别标签的自然图像数据集上训练的神经网络，生成多对象的布局构图。
• Object Sketcher 是一个基于对象构图布局中长宽比条件的微调版 Sketch-RNN 模型，用于生成基于笔画的手绘图。
• 该系统将高层场景构图与低层手绘生成解耦，实现模块化训练，无需成对的文本-手绘数据集。
• 利用边界框提供的长宽比作为条件信号，引导 Object Sketcher 中手绘图的形状与姿态。
• 两阶段流程即使仅在带有标注的自然图像数据上训练，也能生成富有表现力且连贯的多对象手绘图。
• 系统通过根据用户提供的文本描述按需生成手绘图，支持交互式应用。

实验结果

研究问题

• RQ1 神经网络能否在不依赖文本标注手绘数据集的情况下，直接从自然语言描述生成逼真、多对象的手绘场景？
• RQ2 与人类创作的手绘图相比，Sketchforme 生成的手绘图在表现力与真实感方面如何？
• RQ3 Sketchforme 在多大程度上能提升基于手绘的语言学习应用？
• RQ4 Sketchforme 能否支持能够根据自然语言输入生成相关手绘图的智能手绘助手？
• RQ5 手绘生成中的关键局限（如遮挡或姿态不一致）是什么，应如何解决？

主要发现

• 在用户研究中，36.5% 的 Sketchforme 生成手绘图被判断为人类创作，表明其具有极强的真实感与表现力。
• 在五组测试描述中的两组，参与者认为 Sketchforme 生成的手绘图比人类创作的更具表现力。
• 基于 Sketchforme 的语言学习应用显著提升了用户参与度与学习成效。
• 该系统成功实现了智能手绘助手，能够根据文本输入生成语境相关的手绘图。
• 局限性包括在对象被遮挡或长宽比具有误导性（如从方形边界框仅绘制大象的面部）时，出现姿态不一致的问题。
• 未来工作应探索姿态建模、遮挡处理，以及色彩与动画的整合，以进一步提升真实感与表现力。