[论文解读] Clustering Learning for Robotic Vision

Eugenio Culurciello, Jordan Bates+3 more|arXiv (Cornell University)|Jan 13, 2013

Advanced Image and Video Retrieval Techniques参考文献 26被引用 3

一句话总结

本文提出聚类学习（CL）作为一种快速、无监督的方法，用于训练深度神经网络以实现实时机器人视觉，采用基于距离的过滤代替标准卷积。结果表明，CL训练的网络在标准硬件上实现每秒5–10帧的实时性能，并在物体跟踪任务中优于更大的有监督网络，尽管在静态图像基准测试中准确率较低。

ABSTRACT

We present the clustering learning technique applied to multi-layer feedforward deep neural networks. We show that this unsupervised learning technique can compute network filters with only a few minutes and a much reduced set of parameters. The goal of this paper is to promote the technique for general-purpose robotic vision systems. We report its use in static image datasets and object tracking datasets. We show that networks trained with clustering learning can outperform large networks trained for many hours on complex datasets.

研究动机与目标

• 开发一种适用于实时机器人视觉系统的快速、无监督深度神经网络训练方法。
• 在保持动态视觉任务（如物体跟踪）性能的同时，减少训练时间和模型复杂度。
• 评估聚类学习作为有监督预训练的可行替代方案，特别是在数据量少或需要实时处理的场景中。
• 证明基于距离的过滤可以替代标准卷积操作，实现高效、实时的推理。
• 提供开源工具，使机器人研究人员能够以极少的机器学习专业知识部署深度网络。

提出的方法

• 应用无监督聚类算法学习深度前馈网络中的线性滤波器权重，实现在无标注数据情况下的快速训练。
• 采用基于距离的过滤代替标准卷积操作，降低计算复杂度并提高效率。
• 使用局部对比度归一化（而非ZCA白化）对输入数据进行预处理，降低计算成本，同时保持性能。
• 在CIFAR10和SVHN数据集上使用Torch7训练网络，在几分钟内达到100%训练准确率，且超参数调优极少。
• 设计了一个包含4层的深度网络架构，包含池化和归一化层，专为在通用硬件上实现实时推理而优化。
• 在TLD数据集上评估物体跟踪性能，通过单目标演示测试模型的泛化能力和鲁棒性。

实验结果

研究问题

• RQ1 聚类学习是否能够足够快地训练深度神经网络，以满足实时机器人视觉系统的需求？
• RQ2 尽管在静态基准测试中准确率较低，聚类学习在动态跟踪任务中是否仍优于更大的有监督网络？
• RQ3 基于距离的过滤在机器人视觉应用中是否比标准卷积更高效、更有效？
• RQ4 在早期层使用无监督聚类是否足以实现良好性能，而后续层可采用随机滤波器？
• RQ5 在标准数据集上，CL网络在推理速度和准确率方面与最先进有监督网络相比如何？

主要发现

• 聚类学习网络在标准笔记本电脑硬件上实现了每秒5–10帧的性能，支持实时运行。
• 在TLD物体跟踪基准测试中，CL网络优于更大的有监督CNN，表明其在机器人任务中具有更优的泛化能力。
• CL网络在SVHN上达到89%的精度，在CIFAR10上达到50%，尽管低于当前最先进水平，但考虑到极短的训练时间和小型模型尺寸，该表现可接受。
• 基于距离的过滤在深度网络过滤中比标准卷积更有效，尤其适用于实时系统。
• 使用局部对比度归一化而非ZCA白化显著降低了计算成本，同时未牺牲性能，使该方法在机器人应用中更具实用性。
• 后续层中随机滤波器的表现与学习滤波器相当，表明仅需通过聚类训练第一层即可实现有效的特征学习。