[论文解读] Deep Neural Networks for Sketch Recognition.

Yongxin Yang, Timothy M. Hospedales|arXiv (Cornell University)|Jan 30, 2015

Advanced Image and Video Retrieval Techniques参考文献 9被引用 42

一句话总结

本文提出一种专为草图识别设计的多尺度、多通道深度神经网络，利用草图特有的统计特性、笔画顺序的序列信息以及多尺度特征融合，在迄今为止最大的草图数据集上超越了人类表现。该模型在保持小型化的同时，可在CPU上高效训练，实现最先进性能。

ABSTRACT

We propose a multi-scale multi-channel deep neural network framework that, for the first time, yields sketch recognition performance surpassing that of humans. Our superior performance is a result of explicitly embedding the unique characteristics of sketches in our model: (i) a network architecture designed for sketch rather than natural photo statistics, (ii) a multi-channel generalisation that encodes sequential ordering in the sketching process, and (iii) a multi-scale network ensemble with joint Bayesian fusion that accounts for the different levels of abstraction exhibited in free-hand sketches. We show that state-of-the-art deep networks specifically engineered for photos of natural objects fail to perform well on sketch recognition, regardless whether they are trained using photo or sketch. Our network on the other hand not only delivers the best performance on the largest human sketch dataset to date, but also is small in size making efficient training possible using just CPUs.

研究动机与目标

• 填补深度学习模型在草图识别任务中的空白，因为现有针对照片优化的网络在草图上表现不佳。
• 通过设计针对草图特有特性的网络架构，克服从照片数据集迁移学习的局限性。
• 通过显式建模自由手绘草图中的笔画顺序与多级抽象，提升识别准确率。
• 开发一种高效、小规模的模型，实现在不依赖GPU的情况下于CPU上快速训练，且不损失性能。

提出的方法

• 设计一种专为草图数据优化的深度神经网络架构，而非针对自然照片统计特性。
• 实现多通道机制，以编码自由手绘草图中笔画的顺序信息。
• 构建多尺度网络集成，以捕捉草图在不同抽象层次上的特征。
• 应用联合贝叶斯融合，结合多尺度的预测结果，提升模型鲁棒性与准确率。
• 在大规模人工草图数据集上端到端训练模型，避免依赖预训练的照片模型。
• 优化模型大小与训练效率，使其可在仅使用CPU的硬件上实现高效训练。

实验结果

研究问题

• RQ1 是否能够设计一种专为草图优化的深度神经网络，在草图识别任务中超越人类表现？
• RQ2 当应用于草图数据时，即使在草图数据上进行微调，针对照片优化的深度网络在多大程度上表现不佳？
• RQ3 建模笔画顺序与多尺度抽象如何提升草图识别的准确率？
• RQ4 是否能够通过一个小型、高效的模型实现最先进性能，而无需依赖GPU加速？

主要发现

• 所提出的模型在迄今为止收集的最大规模人工草图数据集上实现了最高的识别准确率，超越了人类水平表现。
• 即使在草图数据上进行微调，针对照片优化的深度网络仍难以良好泛化，凸显了为草图设计专用架构的必要性。
• 能够编码笔画顺序的多通道设计显著提升了识别性能，有效捕捉了绘图过程中的时序动态特性。
• 结合贝叶斯融合的多尺度集成能有效融合不同抽象层次的特征，显著提升整体准确率。
• 该模型保持小型化与高效性，可在CPU上实现高效训练，相较于依赖大型GPU的模型具有显著优势。
• 该框架在草图识别任务中树立了新的SOTA（最先进）水平，证明了针对草图数据进行架构专门化对性能提升至关重要。