[论文解读] Enabling My Robot To Play Pictionary : Recurrent Neural Networks For Sketch Recognition

Ravi Kiran Sarvadevabhatla, Jogendra Nath Kundu+1 more|arXiv (Cornell University)|Aug 11, 2016

Handwritten Text Recognition Techniques参考文献 19被引用 11

一句话总结

该论文提出了一种基于门控循环单元（GRU）的循环神经网络框架，用于在线手绘草图识别，利用AlexNet提取的深度特征和加权逐笔损失，在包含160种物体类别的大规模草图数据集上实现了最先进性能。该模型能够实时利用草图数据中的序列性和结构规律，实现高精度的即时识别，这对于机器人辅助猜画游戏等交互式应用至关重要。

ABSTRACT

Freehand sketching is an inherently sequential process. Yet, most approaches for hand-drawn sketch recognition either ignore this sequential aspect or exploit it in an ad-hoc manner. In our work, we propose a recurrent neural network architecture for sketch object recognition which exploits the long-term sequential and structural regularities in stroke data in a scalable manner. Specifically, we introduce a Gated Recurrent Unit based framework which leverages deep sketch features and weighted per-timestep loss to achieve state-of-the-art results on a large database of freehand object sketches across a large number of object categories. The inherently online nature of our framework is especially suited for on-the-fly recognition of objects as they are being drawn. Thus, our framework can enable interesting applications such as camera-equipped robots playing the popular party game Pictionary with human players and generating sparsified yet recognizable sketches of objects.

研究动机与目标

• 解决现有草图识别方法在可扩展且自然的方式下未能有效利用手绘草图序列特性的局限性。
• 开发一种深度学习框架，能够在草图绘制过程中实时识别物体，实现对不完整草图的即时在线解析。
• 研究循环结构选择（GRU与LSTM）以及深度特征表示（AlexNet与SketchCNN）对草图识别准确率的影响。
• 通过提供低延迟、高准确率的草图识别，支持如配备摄像头的机器人进行猜画游戏等交互式应用。

提出的方法

• 该框架使用累积笔画图像作为输入，每根笔画逐步渲染并输入到基于GRU的循环网络中。
• 使用预训练的AlexNet模型提取深度特征，将最后一层全连接层（4096维）的输出作为GRU的输入。
• 在训练过程中应用加权逐时间步损失函数，损失权重根据时间步动态调整，以强调早期识别性能。
• 模型通过时间反向传播进行端到端训练，损失在每个时间步计算并反向传播以更新网络参数。
• 系统采用多尺度输入策略处理SketchCNN特征，将每张草图的五个缩放版本的512维特征拼接，形成2560维输入供循环模型使用。
• 实验对比GRU与LSTM架构，分别使用AlexNet-FC和SketchCNN-SCh-FC特征，在部分草图条件下评估性能。

实验结果

研究问题

• RQ1 循环神经网络架构能否有效利用手绘草图笔画数据中的长期序列性和结构规律进行物体识别？
• RQ2 在在线草图识别设置中，深度特征表示的选择（如AlexNet与SketchCNN）如何影响识别性能？
• RQ3 加权逐时间步损失在多大程度上提升了识别准确率，尤其是在草图绘制的早期阶段？
• RQ4 与静态CNN基线模型相比，基于GRU的框架在部分绘制草图上的在线识别性能如何？

主要发现

• 基于GRU的框架在160类草图数据集上实现了最先进识别准确率，即使仅使用57%的训练数据，仍优于包括SketchCNN在内的最佳CNN基线模型。
• 使用AlexNet特征的GRU模型性能显著优于LSTM和CNN基线，证明GRU架构在序列草图识别中的优越性。
• 该框架在绘制过程的各个阶段（从20%到100%的笔画）均能识别出更大比例的草图，证实其强大的在线识别能力。
• 误分类结果在语义上合理（如将吉他误认为小提琴），表明模型捕捉到了有意义的物体级语义，而非表面视觉模式。
• 使用加权逐时间步损失显著提升了早期识别性能，表现为在低笔画完成率（如20–40%）时准确率更高。
• 结合AlexNet的深度特征与基于GRU的循环架构可获得最佳整体性能，凸显了特征表示与序列建模的双重重要性。